豆包 Seed 2.0 Lite升級(jí)：給 Agent 裝上眼睛和耳朵

最近一個(gè)月模型發(fā)布太卷了。Claude Opus 4.7、GPT-5.5、DeepSeek V4 一個(gè)接一個(gè)，我每天打開(kāi) X 都覺(jué)得自己快被新模型淹沒(méi)。光是我自己，前幾周就趕著做了三期 B 站視頻去解讀這些發(fā)布。

錄過(guò)視頻的人應(yīng)該有體會(huì)，做視頻最痛苦的環(huán)節(jié)之一，是剪字幕。

我錄視頻從來(lái)不按腳本念。

相比看著腳本讀稿，我通常還是更喜歡自由隨性點(diǎn)講，會(huì)顯得更有認(rèn)為。然后遇到的情況就是：專業(yè)術(shù)語(yǔ)念一半改口、數(shù)字換種說(shuō)法、想到一個(gè)例子塞進(jìn)去，這是我錄視頻的常態(tài)。然后剪輯的第一步永遠(yuǎn)是上字幕，丟進(jìn)剪輯軟件自動(dòng)識(shí)別，再花一個(gè)鐘頭改回來(lái)。

我特別討厭這個(gè)環(huán)節(jié)。倒不是麻煩。每次看到字幕里那一堆識(shí)別錯(cuò)位的術(shù)語(yǔ)，我都會(huì)有點(diǎn)恍惚，總覺(jué)得有種說(shuō)我普通話、英語(yǔ)發(fā)音不標(biāo)準(zhǔn)的彈幕在壞壞的飄過(guò)。

需要改寫什么呢？「Claude Opus 4.7」被聽(tīng)成「Claude 四點(diǎn)七」，「Codex」被切成「Code X」，「GPT-5.5」變成「GBT 5.5」。

這些都還好，最離譜的一次：上周我錄了一段介紹我自己開(kāi)源的huashu-designskill，自動(dòng)字幕給我轉(zhuǎn)出來(lái)一行字「花書 Diffusion」。

它完全把 Huashu Design 重新解析成了一個(gè)根本不存在的 AI 模型。下面這種錯(cuò)誤都算客氣了。

我研究了一下原因。這是語(yǔ)音識(shí)別工具通用的工作方式：它在聽(tīng)音頻的時(shí)候不知道我在錄什么，沒(méi)有上下文，于是在所有可能的同音組合里挑一個(gè)它最熟悉的?！竓uashu-design」這種組合從來(lái)沒(méi)在它訓(xùn)練數(shù)據(jù)里出現(xiàn)過(guò)。

這件事困擾我至少三年。每次寫完腳本我都會(huì)想：要是錄之前能跟模型說(shuō)一聲「我接下來(lái)要講 Codex、Claude Opus 4.7、Hermes Agent，huashu-design 是我自己的開(kāi)源項(xiàng)目」，它會(huì)不會(huì)就不犯這種錯(cuò)？

我說(shuō)一下我的工作臺(tái)。我大部分時(shí)間在Claude Code等Coding Agent里干活，寫文章、改代碼、做調(diào)研、整理素材都在它里面。它對(duì)我的意義是：絕大多數(shù)任務(wù)都應(yīng)該在這個(gè)工作臺(tái)內(nèi)自動(dòng)化完成，少跳出去用別的工具，少切換上下文。

但 Claude Code 這個(gè)工作臺(tái)里沒(méi)有原生的音視頻通道。我錄的 B 站視頻丟不進(jìn)去（即便丟進(jìn)去也只能截圖分析），會(huì)議錄音根本沒(méi)法直接處理，別人家的產(chǎn)品發(fā)布動(dòng)畫也得手動(dòng)轉(zhuǎn)寫。它在文字這一層非常強(qiáng)，在「眼睛+耳朵」這一層基本是空的。我每次想把視頻或者音頻變成可以處理的文本，都得跳出工作臺(tái)，去用別的工具，再把結(jié)果粘回來(lái)。而這個(gè)跳出去的環(huán)節(jié)，就是「花書 Diffusion」翻車的地方。

這事兒其實(shí)不是字幕工具一家的問(wèn)題。你看國(guó)內(nèi)大模型公司最近這半年的發(fā)布節(jié)奏就明白了，幾乎所有家都跟著 Anthropic 把 coding 和 agentic 卷到極致，多模態(tài)放在了相對(duì)靠后的位置。

我能理解這個(gè)選擇。coding 和 agentic 確實(shí)是模型最高價(jià)值的方向，也是模型公司之間分勝負(fù)的地方。但做內(nèi)容這一行，經(jīng)常會(huì)卡住的反而是多模態(tài)：要看競(jìng)品視頻是怎么剪的、要把會(huì)議錄音整理成紀(jì)要、要給自己的視頻做精準(zhǔn)字幕、要從一段長(zhǎng)視頻里撈出 3 個(gè)關(guān)鍵片段。這些事 LLM 本身解決不了，每次都要跳出工作臺(tái)，找一個(gè)語(yǔ)音識(shí)別工具、一個(gè)抽幀腳本、一個(gè)膠水流程拼起來(lái)。

最近在火山引擎看到字節(jié)方舟發(fā)了豆包 Seed 2.0 Lite（0428版）。看到價(jià)格這超低的價(jià)格有點(diǎn)心動(dòng)，然后，正好啟發(fā)了幾種新的工作流靈感～

它在原來(lái) 02 月 Lite 版的基礎(chǔ)上做了一件事：這次 Lite 也能聽(tīng)了。原來(lái)的 Lite 已經(jīng)能看圖、能讀視頻、能處理文字，這次把聽(tīng)覺(jué)補(bǔ)上了。是真的「聽(tīng)」，不只是把聲音轉(zhuǎn)成文字，連情緒、環(huán)境聲、多說(shuō)話人都能一起捕捉。

以及有個(gè)特別值得強(qiáng)調(diào)的點(diǎn)是，別一看「全模態(tài)」就以為它跟普通圖像理解模型差不多。它是能直接讀視頻的，不是只能看一幀靜態(tài)圖。你扔一段 60 秒的視頻進(jìn)去，它能告訴你畫面節(jié)奏、字體風(fēng)格、動(dòng)效轉(zhuǎn)場(chǎng)、音視頻是否一致，這件事 GPT-5.5、Claude Opus 4.7 都做不到。御三家里暫時(shí)只有Gemini做了這項(xiàng)能力，但是他們實(shí)在是特么有點(diǎn)貴了，沒(méi)那么實(shí)用。

以及，甚至從性能表現(xiàn)來(lái)說(shuō)，最新的Seed 2.0 Lite不止超過(guò)了前一代的Seed 2.0 Pro的視覺(jué)理解能力，甚至在多個(gè)維度上都達(dá)到了SOTA級(jí)別

所以嚴(yán)格來(lái)說(shuō)，它給 Agent 裝上的不只是耳朵，還是一雙能讀視頻的眼睛。我接下來(lái)會(huì)用兩個(gè) demo 把這兩件事都跑一遍。

而且關(guān)鍵點(diǎn)在這里：豆包 Seed 2.0 Lite 的調(diào)用方式跟你調(diào)任何一個(gè)大模型 API 沒(méi)區(qū)別。這意味著你可以在 prompt 里告訴它你接下來(lái)要聽(tīng)的是什么。

我把那段錄有「huashu-design」的音頻丟給它，附上一個(gè) 1900 字的 prompt：錄制背景、說(shuō)話人風(fēng)格、46 個(gè)易錯(cuò)術(shù)語(yǔ)清單（GPT-5.5、Claude Opus 4.7、Codex、Anthropic、Apollo Research……）。讓它輸出標(biāo)準(zhǔn) SRT 字幕。

然后我把同一段音頻也丟進(jìn)剪輯軟件自動(dòng)字幕——剪輯軟件是大多數(shù)人做視頻的默認(rèn)選擇，對(duì)比它最直觀。結(jié)果：

剪輯軟件這邊把 GitHub 聽(tīng)成了 GitLab、Claude Opus 4.7 變 COS4.7、GPT-5.5 變 GBT5.5、Claude 4.7 變 cloud 4.7、huashu-design 變花書design——這不是剪輯軟件爛，是所有自動(dòng)字幕工具的通?。?strong>沒(méi)有上下文，模型只能在同音組合里挑它最熟的那個(gè)。平時(shí)會(huì)拍視頻的同學(xué)應(yīng)該懂我在說(shuō)什么。

豆包這邊呢？全對(duì)。huashu-design、Claude Opus 4.7、GPT-5.5、GitHub、Claude 4.7，一個(gè)不錯(cuò)。

但這里要補(bǔ)一個(gè) best practice，不然你照著去試可能會(huì)失望：豆包不寫 prompt 直接跑，效果只比剪輯軟件好一點(diǎn)——還是會(huì)把一部分專有名詞識(shí)別歪。它真正的能力，是你把背景、術(shù)語(yǔ)清單、說(shuō)話人風(fēng)格都寫進(jìn) prompt 之后才解鎖的。這次升級(jí)真正解鎖的不是「模型能聽(tīng)」，是「模型能在你給的上下文里聽(tīng)」。

所以如果你要把它塞進(jìn)生產(chǎn)鏈路，prompt 上下文是必須做的功課。少了這一步，全模態(tài)的能力就發(fā)揮不出來(lái)。

更出乎意料的是成本。一段 277 秒的音頻，加了 1900 字 prompt 反而比不加便宜——prompt token 多了 1208 個(gè)，但模型不用瞎猜了，輸出 token 少了 763 個(gè)。總成本下降 20%，單次不到一分錢。

事情到這里其實(shí)沒(méi)完，因?yàn)椤笌舷挛淖鲎帜弧怪皇沁@次0428升級(jí)最淺的一層。我接下來(lái)連做了兩個(gè) demo，一個(gè)是用它去看另一支 AI 的產(chǎn)品發(fā)布動(dòng)畫，一個(gè)是驗(yàn)證它在真實(shí)工作流里的位置。也就是這篇文章真正想說(shuō)的那件事：

這一代 Agent 工具，不管是 Claude Code、Cursor 還是 OpenClaw，一直缺一雙能聽(tīng)音頻、能看視頻的耳朵和眼睛。豆包 Seed 2.0 Lite 0428 非常難得給補(bǔ)上了，價(jià)格還很實(shí)惠。

讓 AI 看另一支 AI 的產(chǎn)品視頻

字幕這條線我跑通之后，做了第二個(gè)實(shí)驗(yàn)，更狠一點(diǎn)。因?yàn)槲野l(fā)現(xiàn)Seed 2.0 Lite模型在視頻理解能力上有點(diǎn)猛，機(jī)會(huì)是全方面碾壓Gemini-3-Pro的水平

OpenAI 上周在 X 上發(fā) GPT-5.5 的時(shí)候配了一支 55 秒的 hero 動(dòng)畫：白底、Inter 字體、打字機(jī)標(biāo)題、4 段產(chǎn)品演示（解魔方、跨 Slack 修 bug、生成財(cái)務(wù) PPT、blossom logo 收尾）。

這種動(dòng)畫是產(chǎn)品發(fā)布的標(biāo)準(zhǔn)品，我自己做過(guò)幾次，每次都得拉競(jìng)品視頻反復(fù)看，寫一份給前端的 brief，再過(guò)一遍設(shè)計(jì)稿。整個(gè)鏈路三天起步。

先看看 OpenAI 那段原視頻長(zhǎng)什么樣：

我把這支 55 秒視頻直接喂給豆包 Seed 2.0 Lite，寫了一份 prompt：你看完這個(gè)視頻，按 8 個(gè)維度（節(jié)奏、視覺(jué)系統(tǒng)、動(dòng)效轉(zhuǎn)場(chǎng)、文案策略、品牌資產(chǎn)、音頻、鏡頭、遷移建議）給我一份結(jié)構(gòu)化輸出，最后給我一份「豆包 Seed 2.0 Lite 發(fā)布動(dòng)畫」的分鏡表，要具體到顏色 hex、字號(hào)、動(dòng)效時(shí)序，讓前端能直接動(dòng)手。

它真給了。

視頻里幾乎所有可觀測(cè)的細(xì)節(jié)它都識(shí)別到了：5 段時(shí)間碼（0-4s 標(biāo)題、5-13s 解魔方、14-34s Slack 修 bug、35-50s 生成 PPT、51-55s logo 收尾）、字體氣質(zhì)（Inter 類無(wú)襯線、字重 700/400/500 三層）、強(qiáng)調(diào)色紫、blossom 花形符號(hào)在魔方表面和結(jié)尾出現(xiàn)兩次、BPM 估值 80-90、平均切換頻率 3.5 秒。它還順手指出了開(kāi)場(chǎng)前 3 秒的鉤子結(jié)構(gòu)和結(jié)尾 3 秒的品牌定格邏輯。

更有用的是 H 部分。它給我寫了一份可執(zhí)行的分鏡表：7 段、每段時(shí)間碼、畫面元素、文案、動(dòng)效、要用的數(shù)據(jù)點(diǎn)。我把這份表又過(guò)了一遍，把它默認(rèn)套用 OpenAI 紫色那部分換成火山方舟自己的品牌色（ / ），把 5-13s 那段「全模態(tài)感官可視化」具象化（左側(cè)波形圖、中間豆包 logo 脈沖、右側(cè)抽幀縮略圖三欄匯聚），加了 SFX 節(jié)拍和字體規(guī)范，整成一份最終藍(lán)本。

然后這份藍(lán)本交給我自己另一個(gè) skillhuashu-design（專門做 HTML 動(dòng)畫的），讓它按藍(lán)本寫代碼、Playwright 錄屏、ffmpeg 出 MP4。最后產(chǎn)出長(zhǎng)這樣：

整個(gè)鏈路從看視頻到拿到 MP4，沒(méi)有人寫一份 brief。

我以前做產(chǎn)品視頻是這樣的：看 5 個(gè)競(jìng)品 → 寫 8 千字 brief → 找設(shè)計(jì)師 → 改 3 輪?，F(xiàn)在變成：把 1 個(gè)競(jìng)品丟進(jìn) LLM → LLM 寫 brief → 另一個(gè) LLM 寫代碼出動(dòng)畫。中間那 8 千字的 brief，是這次升級(jí)里第一個(gè)被吃掉的環(huán)節(jié)。

這個(gè) demo 不是為了證明豆包能做視頻，它做不了，它只是看懂了視頻。讓 AI 看視頻這件事的價(jià)值，是把「拆解參考」這道工序從手動(dòng)變成 API 調(diào)用。

數(shù)據(jù)對(duì)比：同一段音頻，兩個(gè) prompt

回到字幕那條線，我把對(duì)比數(shù)據(jù)完整列一下，方便你看清楚 prompt 上下文到底改變了什么。

維度

不給上下文

給術(shù)語(yǔ)清單+背景

關(guān)鍵術(shù)語(yǔ)命中率

0/13 = 0%

13/13 = 100%

Claude Opus 4.7

Claude 四點(diǎn)七

Codex

Code X（斷成兩段）

GPT-5.5

GPT 5.5（丟連字符）

huashu-design

花書 Diffusion

29% / 22.1%

百分之二十九

字幕條數(shù)

72 條（碎）

41 條（適合閱讀）

SRT 時(shí)間戳格式合規(guī)

后段 5 處錯(cuò)（句點(diǎn)）

全合規(guī)

總 token 成本

0.0101 元

0.0081 元（便宜 20%）

最反直覺(jué)的是最后一行。帶上下文的 prompt 多 1208 個(gè) prompt token，你直覺(jué)以為更貴，但 completion 那一邊模型不用瞎猜了，反而少 763 個(gè) token。多說(shuō)一點(diǎn)話，讓模型少說(shuō)一點(diǎn)廢話。這是這次升級(jí)里第二個(gè)被吃掉的環(huán)節(jié)：模型瞎猜的成本。

它在工作臺(tái)里的位置

把這兩個(gè) demo 串起來(lái)看，論點(diǎn)其實(shí)很簡(jiǎn)單。

豆包 Seed 2.0 Lite 0428 不是來(lái)替換你正在用的 LLM 的。它的輸出能力，寫代碼、復(fù)雜推理、長(zhǎng)鏈路 Agent，肯定比不過(guò) Claude Opus、GPT-5.5 這種旗艦。我也不會(huì)用它去寫 1 萬(wàn)行代碼。

但輸入這一側(cè)，它提供的是 Claude Code、Cursor、Codex、OpenClaw 這一整代 coding agent 都沒(méi)有的能力：讓你直接把視頻、音頻、圖片以和文本同等地位塞進(jìn)同一個(gè) API 調(diào)用，讓 prompt 里的上下文直接作用在感知層。

這是「前置感官層」的意思，是它在你工作流里的位置：

視頻/音頻/截圖 → [豆包 Seed 2.0 Lite 0428] → 結(jié)構(gòu)化文本 → Claude Code / Codex / OpenClaw / Trae → 代碼/文章
                  眼睛 + 耳朵                   

重點(diǎn)在這里：你不用換工作臺(tái)。日常用 Claude Code、Codex、龍蝦 OpenClaw、Hermes Agent，或者字節(jié)自家的 Trae 都行——把豆包 Seed 2.0 Lite 當(dāng)成前置感官接一層進(jìn)去，你原來(lái)的工作流立刻就有了完整的眼睛和耳朵。不用遷移、不用學(xué)新工具，只是給現(xiàn)有的 coding agent 補(bǔ)上它原來(lái)缺的那部分感知。

這個(gè)月初我發(fā)了一本 Hermes Agent 的橙皮書，講長(zhǎng)鏈路 Agent 怎么把多步驟任務(wù)串起來(lái)。當(dāng)時(shí)書里有一節(jié)專門講 Agent 工作流的「輸入側(cè)瓶頸」：絕大多數(shù)任務(wù)卡在「怎么把現(xiàn)實(shí)世界的視頻/音頻/會(huì)議錄屏喂給 Agent」這一步。

這本書寫完之后我自己在工作流里也沒(méi)真正解決這個(gè)問(wèn)題，繞過(guò)去用 Whisper + 手動(dòng)改字幕、用 Gemini 處理視頻、用一堆膠水腳本拼。豆包 Seed 2.0 Lite 0428 是我看到的第一個(gè)用一次 API 調(diào)用就把這兩件事都解決的全模態(tài)輕量模型。

價(jià)格也是這個(gè)論點(diǎn)的支撐。我只跟同檔的全模態(tài)輕量模型對(duì)比，旗艦?zāi)Ｐ筒皇峭粋€(gè)段位，沒(méi)必要拉進(jìn)來(lái)。

模型

輸入（元/Mtok）

輸出（元/Mtok）

音頻輸入

Doubao Seed 2.0 Lite

0.6

3.6

9 元/Mtok

Gemini 3 Flash

3.6

21.6

7.2 元/Mtok

跟同尺寸的 Gemini 3 Flash 比，文本輸入便宜 6 倍，輸出便宜 6 倍。這個(gè)價(jià)格意味著你可以把它真的塞進(jìn)生產(chǎn)鏈路，不只是做 demo。我那段 4 分 38 秒視頻轉(zhuǎn)字幕一次不到一分錢，意味著我每天錄的幾個(gè)視頻片段全跑一遍語(yǔ)音識(shí)別也只要幾毛錢。當(dāng)成本低到「不用考慮成本」的時(shí)候，調(diào)用頻率就會(huì)漲一個(gè)量級(jí)，工作流的形態(tài)會(huì)跟著變。

下一次開(kāi) Claude Code 的時(shí)候，你可以試著把那段不愿意手動(dòng)轉(zhuǎn)錄的會(huì)議錄屏丟給它了。

你也是時(shí)候給你的龍蝦裝上真正的耳朵和眼睛了。