大家好,我是最近折騰AI設(shè)計(jì)的袋鼠帝
作為AI領(lǐng)域的開發(fā)者,最近也是好起來了,拿到了字節(jié)的AI創(chuàng)作平臺(tái)「即夢」網(wǎng)頁版多個(gè)更新的內(nèi)測。
現(xiàn)在這些新功能都已經(jīng)全量上線了,分享一下我這次內(nèi)測的一些感受和作品
這次升級(jí)的內(nèi)容不少,最讓我期待和驚喜的就是剛剛上線的字節(jié)自研的音畫同步模型Seedance1.5 Pro,昨天已經(jīng)首發(fā)接入即夢AI網(wǎng)頁版,在視頻生成中選視頻3.5 Pro就是了。
![]()
這個(gè)模型的能力就類似Sora2和Veo3.1,能夠一鍵生成帶音效、人聲的視頻。
相比Sora2和Veo3.1,即夢視頻3.5Pro還有一個(gè)非常獨(dú)到的特長:可以直接生成方言。
先看看效果:
四川話讀《靜夜思》
說實(shí)話,對中文表現(xiàn)力更好在預(yù)期內(nèi),但能生成方言就很妙,感覺可以衍生出很多適合中國互聯(lián)網(wǎng)的玩法,也為短片創(chuàng)作提供了更多可能。
這個(gè)視頻建議帶上耳機(jī):
之前爆火的ASMR視頻,用即夢也可以一鍵生成啦!而且效果非常治愈
除了音效,人物的運(yùn)動(dòng)、說話,都很不錯(cuò)。
下面這類視頻在短視頻平臺(tái)也非常火,現(xiàn)在用即夢同樣是一鍵生成~
Prompt:一個(gè)男生站著說:“我強(qiáng)烈建議禁止AI”,這時(shí)候一個(gè)美女出現(xiàn),拉著他開始跳舞,并笑著反問:“還禁不禁止了?”
下面這個(gè)視頻,由我的好朋友@KiKi提供
樂隊(duì)演唱,有架子鼓,有電吉他,還有主唱
Prompt:一個(gè)樂隊(duì)正在排練,俯拍特寫鼓面 + 鼓槌。鼓手雙槌快速交替敲擊,底鼓同步重踩,手腕發(fā)力利落。鼓點(diǎn) “咚咚咚” 厚重有力,镲片 “唰” 聲清脆短促。鏡頭橫移推近吉他指板,吉他手快速掃弦 + 手指爬格子,手腕靈活轉(zhuǎn)動(dòng)。琴弦 “唰唰唰” 清脆明亮,solo 段落 “嘶嘶” 連貫高亢。鏡頭平移特寫貝斯撥弦動(dòng)作,貝斯手拇指 + 食指交替撥弦,左手沉穩(wěn)按弦,貝斯發(fā)出低頻 “嗡嗡” 渾厚有彈性,撥弦 “嘣嘣” 扎實(shí)有質(zhì)感。鏡頭旋轉(zhuǎn)聚焦主唱面部 (一個(gè)金色頭發(fā)的中國女孩,濃眉大眼,20歲,長得非常美麗)拿著麥克風(fēng),頭部隨節(jié)奏晃動(dòng),表情投入帶笑演唱:“我就是巨星!”
效果真滴很,各種場景,音畫都非常穩(wěn)定,而且完全同步!
這次體驗(yàn)完,我對即夢的判斷變了。
它已經(jīng)不只是生圖/生視頻工具,而是開始具備 完整創(chuàng)作流程的AI片場/商用級(jí)設(shè)計(jì)工具。
先聊聊,為什么我覺得它變成了商用級(jí)設(shè)計(jì)工具?
因?yàn)檎梦易罱幸恍┰O(shè)計(jì)需求。又請不起人幫我弄,就只有靠AI嘍(這是做一人公司的必修課之一)。
老朋友應(yīng)該知道,除了寫代碼搞AI,我和女朋友還在家里面經(jīng)營了一個(gè)線上貓舍。
于是,我們決定,自己動(dòng)手,給自家貓舍做一套完整的品牌VI。
放在以前,這對我們兩個(gè)理工科背景的人來說,簡直是天方夜譚。但這一次,我們居然在一天之內(nèi),就靠自己輕松搞定了一堆以前想都不敢想的設(shè)計(jì)。
包括:咖啡杯套,手提袋,貼紙,凍干和貓糧包裝,以及帶有“dragon”logo的貓窩和蓋毯。(ps:我們有計(jì)劃在做實(shí)際的產(chǎn)品)。
即夢還可以在畫布里面把圖片合并導(dǎo)出,下面這張圖導(dǎo)出有40M你敢信?
![]()
![]()
這次設(shè)計(jì)的主角,是我們貓舍的最強(qiáng)種公,一只擁有一張高級(jí)厭世臉的男神貓咪:Dragon
![]()
甚至,我女朋友剛發(fā)了一個(gè)朋友圈,就有客戶想買了。不得不說,這是一個(gè)驗(yàn)證產(chǎn)品的好機(jī)會(huì)啊。
說實(shí)話,那條毛毯我都想要~
![]()
PS:這期干貨實(shí)在有點(diǎn)多,里面用到的提示詞和更詳細(xì)的步驟我都打包好了,有需要的朋友評(píng)論區(qū)留言,我私發(fā)你~
上面的設(shè)計(jì)全程用即夢的圖4.5(也就是字節(jié)的Seedream4.5)結(jié)合畫布+Agent出圖
不得不說,Agent還得是大模型公司自己做,原湯化原食還是的。
![]()
這里也必須得夸一下即夢圖4.5模型。相比之前的版本,它最讓我驚喜的提升主要在兩點(diǎn):一是美感,二是文字。
這次4.5模型在文字生成和小字保持上非常穩(wěn)定。
比如我們在設(shè)計(jì)貓糧包裝時(shí),提示詞里要求帶上Dragon的名字,它不僅寫對了,還能根據(jù)畫面的風(fēng)格,自動(dòng)匹配字體的材質(zhì)和透視關(guān)系。連光影、紙張的褶皺感都處理得非常到位。
這是我們跑的一堆圖,就不一一放出來了,即夢生圖是真有東西。
![]()
除了最新的生圖、生視頻模型,這次即夢網(wǎng)頁版還更新了畫布、Agent、以及智能多幀2.0。
我完整體驗(yàn)完這些能力之后,對即夢打造的“一站式AI片場”有了切身感受
為什么這么說?
我給大家捋一捋
大家應(yīng)該知道做AI視頻,需要先生成分鏡吧(也就是圖片)
但最痛苦的第一步不是畫圖,而我壓根不知道要做成什么樣。
這次即夢更新后,多了兩個(gè)很關(guān)鍵的入口:靈感搜索、創(chuàng)意設(shè)計(jì)
它們就是專門來解決這個(gè)痛點(diǎn)的
最近我想把X也做起來,正準(zhǔn)備給X主頁換一個(gè)背景。
你們看看我X現(xiàn)在的背景,一看就不專業(yè),先把門面再搞一搞。掃榻迎客
![]()
就發(fā)現(xiàn)Agent旁邊現(xiàn)在多出來兩個(gè)我從沒見過的新玩意兒「靈感搜索」、「創(chuàng)意設(shè)計(jì)」,聽起來感覺是要給我找點(diǎn)靈感。
一開始確實(shí)沒想好做成什么樣,只希望看起來更專業(yè),那就先搜搜靈感。
![]()
看到結(jié)果我就懂了,「靈感搜索」是在即夢現(xiàn)有的作品里面搜索跟我需求類似的作品,給我做參考。
![]()
上面的第二張圖看著還不錯(cuò),那就 把我的頭像跟它一融合就ok啦,是不是看著更專業(yè)一些?
![]()
然后吧,我準(zhǔn)備把X的頭像也換一換,同樣要有點(diǎn)科技感才行。
開啟「創(chuàng)意設(shè)計(jì)」讓它幫我設(shè)計(jì)一下。
很快它就幫我設(shè)計(jì)了8張風(fēng)格不一的新頭像,我比較中意金屬質(zhì)感那個(gè),看起來更有科技感。
![]()
![]()
啊哈,搞定!
![]()
還不錯(cuò),如果想做點(diǎn)海報(bào),封面圖啥的,沒靈感的時(shí)候可以使用這兩個(gè)新功能。
特別是對于設(shè)計(jì)小白來說,也能一人出片了
當(dāng)然,它們同樣適合用來做AI視頻的分鏡圖。
下面就是我用不同風(fēng)格的頭像,通過智能多幀一鍵生成的視頻
意喻是我一直往前,一直在求變,全力以赴到氣喘吁吁的狀態(tài)。
接下來就是進(jìn)入視頻生成環(huán)節(jié),除了開篇提到的視頻3.5 Pro,這里不得不提的就是即夢的智能多幀2.0
生成分鏡圖之后,我們就可以通過智能多幀一鍵生成空間連續(xù)、運(yùn)鏡流暢的長鏡頭。
它支持上傳最多20個(gè)素材,圖像或者是視頻片段。模型會(huì)自動(dòng)識(shí)別這些內(nèi)容,結(jié)合你寫的提示詞,生成一鏡到底的影視效果。
注意:是圖片或視頻都行,圖片+圖片、圖片+視頻、視頻+視頻,可以任意組合,甚至也可以絲滑的融合真實(shí)的實(shí)拍畫面。
聽起來這對于需要做品牌宣傳片,或者像我這樣想做點(diǎn)故事性短片的人來說,簡直是神器。
我自己也嘗試了用智能多幀做長視頻,效果確實(shí)不錯(cuò)
以下3個(gè)視頻來自我的好朋友@KiKi
1.智能多幀生成的科幻視頻
![]()
2.女孩的內(nèi)心戲,不得不說,即夢的視頻模型對人物表情理解很到位啊。有沒有可能以后演員的飯碗也會(huì)不保啊?
![]()
3.小丑魚幻想記,我發(fā)現(xiàn)它的指令遵循能力也超強(qiáng)
![]()
相比1.0,這次更新后的智能多幀還支持了視頻片段修改,鎖定特定時(shí)段精細(xì)化編輯(目前這個(gè)功能只有即夢才有)。
是實(shí)話,這個(gè)視頻片段修改真挺有意思的,就像下面這樣:
在一鍵生成的作品中鎖住想要保留的部分,然后只修改某一片段,這樣就能保證其他片段不變的情況下,局部調(diào)整視頻。可控且更省積分和時(shí)間,更容易得到自己想要的畫面~
![]()
智能多幀還有一個(gè)非常適合的實(shí)用場景:AI動(dòng)漫,一鍵把漫畫畫面串起來,生成自然流暢的動(dòng)漫。
最后,我們回到AI片場的"后期"
視頻光有畫面可不行,音效、人聲是不可或缺的重要元素
但即夢視頻3.5 Pro的音畫同步已經(jīng)前置解決了這個(gè)問題,AI視頻已經(jīng)不需要后期配音了,無論是人聲、環(huán)境音、背景音樂,都可以在視頻生成階段完成,而且很"貼臉"。
再展示兩個(gè)@KiKi幫跑的案例
迪斯尼風(fēng)格的小馬寶莉,新聞聯(lián)播
Prompt:3D動(dòng)畫風(fēng)格,迪士尼動(dòng)畫風(fēng)格。全景→動(dòng)物城新聞演播廳(暖黃 + 天藍(lán)配色,背景屏顯 “今日早報(bào)” Logo,兩側(cè)有卡通綠植裝飾,桌面擺著小馬專屬話筒),4K 60 幀,色彩鮮艷明快。鏡頭推近→中景聚焦主播臺(tái),白色的3D卡通小馬主播(鬃毛染粉藍(lán)漸變,穿著黑色西裝)坐姿挺拔,放下手中的紙張,頭部輕微點(diǎn)頭一邊說話:美好的一天從現(xiàn)在開始,歡迎大家收看動(dòng)物城今日早報(bào),我是馬主播。特寫鏡頭→小馬眨眼、嘴角上揚(yáng),手抬起指向右側(cè)屏幕(屏幕浮現(xiàn) “森林樂園” 卡通插畫),表情活潑靈動(dòng)。鏡頭拉遠(yuǎn)→小馬揮手微笑,背景屏切換 “下期再見” 字樣,鏡頭邊緣泛淡粉色光暈。音效: 環(huán)境音,輕微演播廳背景音(紙張翻動(dòng)聲、低柔電流聲) 主播音效:小馬聲音新聞腔,帶輕微卡通軟糯感,無雜音。
突然心悸
確實(shí)很強(qiáng),美中不足的是視頻中文字會(huì)扭曲。希望后續(xù)加強(qiáng)。
打開即夢的資產(chǎn)管理,我才發(fā)現(xiàn),這幾天不知不覺,我們做了350多張圖,60多條視頻
這么多素材,其實(shí)可以放到畫布里面管理,畫布這里可以創(chuàng)建一個(gè)個(gè)項(xiàng)目,這樣就可以用一張畫布來管理整個(gè)項(xiàng)目的素材,互相隔離。
![]()
還可以在畫布里面分組管理,同一類就分到一個(gè)組
![]()
當(dāng)然,就像我們做IP周邊一樣,也可以基于畫布去進(jìn)行圖片抽卡,批量生產(chǎn),效率更高;畫布內(nèi)也能隨時(shí)調(diào)用圖片生成、視頻生成、智能多幀和Agent,避免來回交替頁面的麻煩。
![]()
咋說呢,確實(shí)有種自己當(dāng)了導(dǎo)演在片場運(yùn)籌帷幄的感覺,所以工種都能基于創(chuàng)作需求隨時(shí)調(diào)用、聽我指揮。
畫布+Agent還有很多玩法,一篇文章完全不夠講,大家下來試試就知道了,非常絲滑的體驗(yàn)~
以上,當(dāng)備齊了這些能力之后,即夢網(wǎng)頁版確實(shí)變成了名副其實(shí)的一站式AI片場。
當(dāng)然,它也有個(gè)讓我有點(diǎn)難受的點(diǎn),就是生成速度。
但如果是在實(shí)拍現(xiàn)場,不敢想等這么幾十秒或者幾分鐘,演員、美術(shù)、妝發(fā)、置景...能全都就位。
PS:開會(huì)員之后速度會(huì)更快
從這個(gè)角度來說,我覺得這個(gè)會(huì)員充的很值。連續(xù)包月是68塊錢一個(gè)月。
對于我來說,這68塊錢,相當(dāng)于雇了一個(gè)隨叫隨到、水平在線、還能不斷進(jìn)化的完整創(chuàng)作團(tuán)隊(duì)。
無論是給貓舍做品牌VI、周邊,還是給自媒體做物料、做AI漫劇。它幫我節(jié)省的時(shí)間和精力,帶來的價(jià)值,都遠(yuǎn)遠(yuǎn)超過了這個(gè)訂閱費(fèi)。
如果你也想體驗(yàn)這種一個(gè)人活成一支隊(duì)伍的感覺,嘗試一把做導(dǎo)演做設(shè)計(jì)師的感覺,不妨去試試即夢。
說不定,你也能像我一樣,在一天之內(nèi),把積壓已久的需求和靈感變成看得見甚至聽得清的作品。
企業(yè)用戶也不用著急,這次內(nèi)測時(shí)了解到,企業(yè)用戶12月18日起可以到火山方舟體驗(yàn)中心體驗(yàn)Seedance 1.5 Pro,其他即夢同源模型也都在火山引擎開放了API。
這期干貨有點(diǎn)多,里面用到的提示詞和更詳細(xì)的步驟我都打包好了,有需要的朋友評(píng)論區(qū)留言,我私發(fā)你~
我是袋鼠帝,持續(xù)分享AI實(shí)踐干貨,我們下期見。
能看到這里的都是鳳毛麟角的存在!
如果覺得不錯(cuò),隨手點(diǎn)個(gè)贊、在看、轉(zhuǎn)發(fā)三連吧~
如果想第一時(shí)間收到推送,也可以給我個(gè)星標(biāo)?
謝謝你耐心看完我的文章~
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.