邊看邊說(shuō)，京東開(kāi)源實(shí)時(shí)視頻模型勝率達(dá)87.9%

你是不是也經(jīng)歷過(guò)給視頻模型喂完整段錄像等它慢慢分析？6 月 22 日，京東開(kāi)源了 JoyAI-VL-Interaction，套用官方說(shuō)法，這是“全球首個(gè)全棧開(kāi)源的 interaction 模型和系統(tǒng)”，還得到了 vLLM-Omni 的 day-0 原生支持。簡(jiǎn)而言之，這個(gè)模型不再等著你問(wèn)，而是能一直盯著視頻流，該張嘴時(shí)就張嘴，把大模型從“一問(wèn)一答”拽進(jìn)“邊看邊說(shuō)”的實(shí)時(shí)交互軌道。

京東這次敞開(kāi)了整套架構(gòu)：模型權(quán)重、數(shù)據(jù)集、部署方案全部公開(kāi)，開(kāi)發(fā)者拿著這套框架，可以直接搭一個(gè)能持續(xù)觀察現(xiàn)場(chǎng)、自己判斷說(shuō)話時(shí)機(jī)、即時(shí)給出反應(yīng)的實(shí)景 AI 助手。從實(shí)時(shí)攝像頭到直播流，從監(jiān)控畫(huà)面到語(yǔ)音輸入輸出，它像給視頻感知層裝了一套自有的發(fā)言邏輯。

傳統(tǒng)模型要等用戶甩來(lái)一個(gè)問(wèn)題，才就著當(dāng)前畫(huà)面給個(gè)回答。JoyAI-VL-Interaction 改掉的，就是這份“被動(dòng)感”。它把主動(dòng)判斷做進(jìn)系統(tǒng)里——看著視頻流，自己決定什么時(shí)候該說(shuō)話、什么時(shí)候該保持沉默。這就讓那些不能等的場(chǎng)景有了救兵：安防預(yù)警發(fā)現(xiàn)異常要立刻出聲，直播解說(shuō)畫(huà)面一切就要開(kāi)口，操作指導(dǎo)看到工人抬錯(cuò)手就得即時(shí)糾正。不用再把視頻上傳然后坐等分析結(jié)果，畫(huà)面一變，模型的反應(yīng)緊隨其后。

另一個(gè)有意思的設(shè)計(jì)，是它能把復(fù)雜任務(wù)“委派”出去。面對(duì)要生成代碼、調(diào)用工具、處理深度推理的環(huán)節(jié)，前臺(tái)模型繼續(xù)盯緊現(xiàn)場(chǎng)，直接把活派給后臺(tái)的大模型或 Agent。兩邊各司其職，后臺(tái)處理完畢再把結(jié)果塞回對(duì)話，前臺(tái)無(wú)縫接住，全程觀察和交互都不掉線。京東把這種機(jī)制叫“適時(shí)智能體委托”，對(duì)想拿一個(gè)模型打通全場(chǎng)景的開(kāi)發(fā)者來(lái)說(shuō)，等于給了個(gè)可以彈性的協(xié)作接口。

在具體落地上，這套模型支持?jǐn)z像頭、直播流、監(jiān)控流等多路視頻源，也兼容語(yǔ)音輸入輸出、可視化界面、長(zhǎng)期記憶模塊，還能接后臺(tái)模型和 vLLM 部署。ASR、TTS、可視化界面、后臺(tái)模型、外部工具、業(yè)務(wù)模塊都可以按需替換——開(kāi)發(fā)者可以把自己的語(yǔ)音服務(wù)、Agent、API 或前端界面接進(jìn)去，像搭積木一樣快速跑通安防監(jiān)控、老人小孩看護(hù)、直播講解、電商導(dǎo)購(gòu)、操作指導(dǎo)、AI 眼鏡、無(wú)障礙輔助等細(xì)分場(chǎng)景。

官方拿出的評(píng)測(cè)數(shù)據(jù)相當(dāng)直接。測(cè)試覆蓋了監(jiān)控預(yù)警、實(shí)時(shí)計(jì)數(shù)、實(shí)時(shí)翻譯、時(shí)間感知、直播導(dǎo)覽解說(shuō)等真實(shí)流式場(chǎng)景，全部是與視覺(jué)觸發(fā)的主動(dòng)響應(yīng)和實(shí)時(shí)性高度相關(guān)的題目。在 58 個(gè)真人盲評(píng)案例中，JoyAI-VL-Interaction 對(duì)比豆包視頻通話助手，總體勝率達(dá)到 77.6%；對(duì)上 Gemini 視頻通話助手，總體勝率更是沖到 87.9%。這意味著，在“需要畫(huà)面一變化，模型就張嘴給出有效回應(yīng)”的考核里，這個(gè)剛開(kāi)源的模型已經(jīng)能打過(guò)高市占率的商業(yè)產(chǎn)品。

開(kāi)源帶來(lái)的擴(kuò)展空間或許才是真正的鉤子。當(dāng)模型能自己判斷開(kāi)口時(shí)機(jī)，能同時(shí)處理觀察與后臺(tái)委托，又在一個(gè)把視頻、語(yǔ)音、工具全部打通的框架上跑起來(lái)，Anker、看護(hù)、導(dǎo)購(gòu)、眼鏡這類近在眼前的實(shí)時(shí)助手，都可能出現(xiàn)更快、更便宜的迭代路徑。畢竟，現(xiàn)在連擊敗 Gemini 視頻助手的代碼和權(quán)重，都已經(jīng)掛在 Hugging Face 上了。