這是蒼何的第 500 篇原創(chuàng)!
大家好,我是蒼何。
不知不覺,500 篇原創(chuàng)啦。年前開源的 AI 漫導(dǎo)開源項(xiàng)目也 1.1 k star 了。
![]()
最近玩 Openclaw 又玩的跟個(gè)瘋狗似的,給我的小龍蝦裝了很多實(shí)用技能,可以自動(dòng)寫小紅書圖文,可以自動(dòng)寫作,配圖,生成封面等。
![]()
但感覺生活還是很無趣,于是又花了一些時(shí)間,開發(fā)了個(gè) AI 漫劇視頻生成 Skills,給小龍蝦使用。
準(zhǔn)確的說,這是個(gè)基于字節(jié) Seed2.0 的技能包,有以下子技能。
![]()
「seedance-video」:文生視頻、圖生視頻,seedance 1.5 Pro 版本還自帶音頻生成,屬于基本盤。
等seedance 2.0 的 API 出來,也會(huì)第一時(shí)間接入。
「manga-style-video」:8 種漫畫風(fēng)格一鍵切換。日式治愈系、吉卜力、國(guó)風(fēng)水墨、美式卡通、鉛筆素描、水彩、Q版萌系。
「manga-drama」:這個(gè)是核心,漫劇生成器。丟一張主角圖進(jìn)去,自動(dòng)給你編排分鏡短劇。
「volcengine-video-understanding」:火山視頻理解,生成完還能分析效果,看看情感表達(dá)到不到位。底層用的是 doubao-seed-2.0-code 的能力。
說白了,從寫腳本到出視頻到驗(yàn)收,一條龍全包了。
比如直接一句話調(diào)用 manga-drama 技能生成視頻。
![]()
稍微控制一下提示詞,就能生成比較精致的動(dòng)漫風(fēng)格的視頻了,其中我給的提示詞是:
動(dòng)漫風(fēng)格視頻,一名長(zhǎng)發(fā)高中少女漫步在盛開的櫻花樹下。粉色的花瓣在微風(fēng)中緩緩飄落。明媚的春季陽光灑下,產(chǎn)生柔和的鏡頭光暈效果。側(cè)向跟蹤鏡頭,懷舊氛圍,高畫質(zhì),控制在20M 以內(nèi),并以視頻文件預(yù)覽的方式直接發(fā)給我
![]()
這個(gè)視頻目前使用的是 seedance 1.5 Pro,等 2.0 的 API 出來效果會(huì)更好 :
可以使用一張圖片,直接生成漫劇分鏡視頻,生成腳本到主角再到分鏡視頻,manga-drama 都能一次性完成。
![]()
我錄了個(gè)視頻,大家可以看下這個(gè)流程:
生成的分鏡視頻合成了下是這樣的:
后面考慮迭代的方向就是讓這幾個(gè)視頻能連一塊組成絲滑的視頻。
我把整個(gè) Skills 都也開源到了 GitHub 我的 Skills 倉(cāng)庫(kù):
![]()
點(diǎn)擊頭像,然后私信回復(fù):canghe-skill,可獲取我的所有技能包。
使用的話也非常簡(jiǎn)單,你只需要讓你的 openclaw 自己安裝下我的技能就好了。
![]()
實(shí)戰(zhàn):一張圖到一套漫劇,怎么跑的?
光說不練假把式,直接上流程。不過在此之前,得申明一點(diǎn),這個(gè)過程將會(huì)非常費(fèi) token,我自己小龍蝦用的是火山的 Coding Plan 套餐。
![]()
3 月起新用戶首購(gòu)是 9.9,還有裂變活動(dòng):被推薦的用戶還可疊加10% 推薦福利,8.9 即可購(gòu)買。
![]()
里面模型也挺多的,主要原因是我想用 doubao-seed-2.0-code 的 Agent 和 VLM 能力,之前也做過一次測(cè)評(píng),目前表現(xiàn)是非常不錯(cuò)的。
![]()
能理解長(zhǎng)達(dá) 2 小時(shí)的視頻,并調(diào)用剪輯 skill 進(jìn)行混剪。
![]()
還可自定調(diào)用各種 Skills 和 Agent 由視頻轉(zhuǎn)公眾號(hào)文章。
![]()
因?yàn)?seed2.0 具備更強(qiáng)的多模態(tài)理解能力和 Agent 能力,特別是在多模態(tài)感知,長(zhǎng)視頻理解,對(duì) Skills 的理解和應(yīng)用上表現(xiàn)不錯(cuò)。
在我們的整個(gè)流程中需要調(diào)用不少的 Skills,以及需要理解視頻,所以目前來看,doubao-seed-2.0-code 是最合適的。
火山的 Coding Plan 上就可以直接用 doubao-seed-2.0-code,而且性價(jià)比也是挺高的,特別對(duì)新用戶幾乎是白菜價(jià),hh。
第一步:劇本邏輯編排漫劇視頻第一步,得有個(gè)像樣的分鏡腳本。
誰來寫?Openclaw 后端配置的大模型。
我這里接的是 doubao-seed-2.0-code,負(fù)責(zé)生成分鏡邏輯、編排場(chǎng)景順序。
比如我想做一個(gè)「少年仗劍走天涯」的國(guó)風(fēng)漫劇。
它會(huì)自動(dòng)幫我拆成:開場(chǎng)獨(dú)白、拔劍出鞘、對(duì)決場(chǎng)景、雨中沉思、結(jié)尾定格。
每一幕都帶詳細(xì)的畫面描述和鏡頭指令,省心到離譜。
![]()
第二步:主角設(shè)定 + 風(fēng)格選擇
腳本有了,需要生成漫劇主角,會(huì)調(diào)用 canghe-image-gen skill 來生成主角形象,這個(gè) skill 是支持 Google API 及第三方 API 的。
無論是用最新的香蕉 2.0,還是使用 seedream 5.0,生圖都輕松。
需要選風(fēng)格。manga-style-video skill 提供了 8 種預(yù)設(shè)風(fēng)格,每種都內(nèi)置了專業(yè)提示詞。
不用自己調(diào)參,選一個(gè)就完事。
我這次選的是國(guó)風(fēng)水墨,配合「仗劍少年」的主題剛剛好。
![]()
你還別說,吉卜力風(fēng)格也很絕,改天再試試。
第三步:漫劇生成
重頭戲來了。
manga-drama 這個(gè) Skill,是整套工作流里最讓我驚艷的。
操作賊簡(jiǎn)單:丟一張主角圖進(jìn)去,它自動(dòng)幫你編排整套分鏡。
內(nèi)置了 5 種分鏡類型:
主角登場(chǎng)、動(dòng)作場(chǎng)景、情感表達(dá)、互動(dòng)場(chǎng)景、結(jié)尾定格。
每一幕的構(gòu)圖、鏡頭角度、光影氛圍,全都安排得明明白白。
![]()
不過當(dāng)前是有一些待優(yōu)化的地方都,傳參考圖,會(huì)中斷鏈接,問題不大,后續(xù)我再修復(fù)下。
第四步:效果驗(yàn)收
視頻生成完,還沒完事。
volcengine-video-understanding 可以對(duì)生成的視頻做內(nèi)容分析。
這里基于 seed2.0 的視頻理解能力,還是非常方便的。
情感表達(dá)到不到位?場(chǎng)景銜接順不順?它都能給你反饋。
相當(dāng)于自帶了一個(gè)「AI 質(zhì)檢員」,省得自己一幀一幀去看。
![]()
整套流程跑下來,從一張圖到一套完整漫劇視頻,我這邊大概十來分鐘搞定。
Openclaw 的可玩性還是很多的,但也確實(shí)廢 token。
Openclaw 的最佳使用方式是搭載自己的 Skills 技能包,而非是讓自己的小龍蝦在 ClawHub 中一頓瞎找。
現(xiàn)在的 Skill 太多了,但唯有那些對(duì)自己有用的技能才值得被收藏。
更推薦每個(gè)人都維護(hù)自己的技能倉(cāng)庫(kù):把個(gè)人方法論、模板、腳本和領(lǐng)域默認(rèn)配置沉淀為可版本化資產(chǎn),而不是長(zhǎng)期依賴單一公共基線。
說實(shí)話,等 Seedance 2.0 的 API 正式放出來,這套漫劇工作流還能再上一個(gè)臺(tái)階。
到時(shí)候畫面一致性、角色連貫性都會(huì)好很多,想想就有點(diǎn)期待。
感興趣的可以先玩起來,我的技能包都開源了,私信回復(fù) canghe-skill 就能拿到。
想試試火山 Coding Plan 省 token 的,也可直接點(diǎn)文末「閱讀原文」。
有什么好玩的玩法,也歡迎評(píng)論區(qū)交流。
覺得有用的話,點(diǎn)個(gè)贊和在看唄,下次繼續(xù)給大家整點(diǎn)好活。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.