視頻版Vision-Banana來了？大一統(tǒng)框架UniVidX刷新視頻任務(wù)SOTA

近日，由香港科技大學(xué) MMLab 及合作團(tuán)隊(duì)完成的研究工作「UniVidX: A Unified Multimodal Framework for Versatile Video Generation via Diffusion Priors」被計(jì)算機(jī)圖形學(xué)頂級會議 SIGGRAPH 2026 正式接收。

• 論文地址：https://arxiv.org/pdf/2605.00658
• 代碼：https://github.com/houyuanchen111/UniVidX
• 項(xiàng)目主頁：https://huggingface.co/houyuanchen/UniVidX
• 
  

圖 1：該圖系統(tǒng)性展示了 UniVidX 在多模態(tài)視頻生成中的統(tǒng)一建模能力，覆蓋 Text→X、X→X 及 Text&X→X 三類核心范式。上半部分為 UniVid-Intrinsic，支持逆向渲染、重打光、Intrinsic 生成等任務(wù)；下半部分為 UniVid-Alpha，支持 RGBA 生成、視頻摳圖與視頻 inpainting 等任務(wù)。結(jié)果表明，單一框架即可覆蓋原本需要多個獨(dú)立模型完成的復(fù)雜視頻圖形任務(wù)。

該工作提出了一個面向多模態(tài)視頻生成與理解的一體化統(tǒng)一框架 UniVidX，在多項(xiàng)視頻圖形任務(wù)上達(dá)到或刷新當(dāng)前最優(yōu)性能，標(biāo)志著視頻擴(kuò)散模型在通用化方向上的重要進(jìn)展。

圖 2：該圖展示了 UniVidX 的核心結(jié)構(gòu)，包括隨機(jī)條件掩碼、解耦門控 LoRA 以及跨模態(tài)自注意力。不同模態(tài)在訓(xùn)練中被動態(tài)劃分為條件或目標(biāo)，從而實(shí)現(xiàn)全方向生成能力。通過共享注意力機(jī)制與模塊化參數(shù)適配，模型在保證一致性的同時有效避免模態(tài)間干擾。

長期以來，視頻圖形學(xué)與視頻生成領(lǐng)域的發(fā)展呈現(xiàn)出明顯的任務(wù)割裂。不同問題往往依賴獨(dú)立建模，例如視頻逆向渲染、視頻重打光、視頻摳圖、視頻 inpainting 以及文生視頻等任務(wù)，通常需要分別訓(xùn)練專用模型來完成。

這種以固定輸入——輸出映射為核心的建模方式，限制了模型對復(fù)雜真實(shí)場景的適應(yīng)能力，也阻礙了跨任務(wù)知識的共享與遷移。在實(shí)際應(yīng)用中，視頻內(nèi)容往往涉及多種模態(tài)與多種操作的組合，傳統(tǒng)方法難以提供統(tǒng)一且高效的解決路徑。

圖 3：該圖對比了 UniVid-Intrinsic 與現(xiàn)有方法在 Intrinsic 生成任務(wù)中的表現(xiàn)。相比基線方法存在的模態(tài)錯位與細(xì)節(jié)缺失，UniVidX 在 RGB、反照率與法線之間保持了更高的一致性。結(jié)果表明，該方法能夠穩(wěn)定生成具有物理一致性的多模態(tài)視頻序列。

針對這一問題，UniVidX 從建模范式上進(jìn)行了系統(tǒng)性重構(gòu)。該框架的核心思想，是將不同視頻圖形任務(wù)統(tǒng)一為多模態(tài)條件生成問題，使任意模態(tài)既可以作為輸入條件，也可以作為生成目標(biāo)，從而實(shí)現(xiàn)「任意模態(tài)到任意模態(tài)」的統(tǒng)一建模能力。在這一統(tǒng)一空間中，RGB 視頻、法線、反照率、光照、Alpha 通道以及前景背景等信息不再彼此割裂，而是通過共享的生成機(jī)制進(jìn)行協(xié)同建模。

圖 4：該圖展示了 UniVidX 在 Intrinsic 生成和 RGBA 生成任務(wù)中的定量評測。無論在用戶評分還是時間一致性指標(biāo)上，UniVidX 均優(yōu)于現(xiàn)有方法。值得注意的是，該方法可實(shí)現(xiàn)多層分解生成，體現(xiàn)出更強(qiáng)的統(tǒng)一建模能力。

為了實(shí)現(xiàn)這一統(tǒng)一能力，UniVidX 在模型結(jié)構(gòu)與訓(xùn)練機(jī)制上提出了一系列關(guān)鍵設(shè)計(jì)。

首先，通過隨機(jī)條件掩碼機(jī)制，模型在訓(xùn)練過程中不斷改變輸入與輸出模態(tài)的劃分，從而學(xué)習(xí)全方向的生成關(guān)系，而非固定映射。這一機(jī)制使模型具備更強(qiáng)的泛化能力，可以適應(yīng)多樣化的任務(wù)需求。

其次，通過解耦門控 LoRA，模型為不同模態(tài)分配獨(dú)立參數(shù)空間，并在對應(yīng)模態(tài)作為生成目標(biāo)時動態(tài)激活，從而有效避免不同模態(tài)之間的參數(shù)干擾，同時保留預(yù)訓(xùn)練擴(kuò)散模型的原始生成能力。

此外，跨模態(tài)自注意力機(jī)制通過在不同模態(tài)之間共享信息，實(shí)現(xiàn)了幾何、光照與語義層面的統(tǒng)一約束，顯著提升了生成結(jié)果的一致性與穩(wěn)定性。

圖 5：該表系統(tǒng)比較了 UniVid-Intrinsic 與多種代表性方法在反照率、光照、法線及正向渲染任務(wù)上的性能。UniVidX 在 PSNR、SSIM 及 LPIPS 等指標(biāo)上整體領(lǐng)先。結(jié)果驗(yàn)證了統(tǒng)一框架在多任務(wù)場景中的綜合優(yōu)勢。

在具體實(shí)現(xiàn)上，研究團(tuán)隊(duì)基于該框架構(gòu)建了兩個代表性模型，用于覆蓋不同類型的視頻圖形任務(wù)。UniVid-Intrinsic 面向 Intrinsic，可統(tǒng)一處理 RGB、反照率、輻照度和法線等模態(tài)，支持文本到 Intrinsic 生成、視頻逆向渲染、正向渲染以及視頻重打光等任務(wù)。

與此同時，UniVid-Alpha 面向視頻層級分解與合成，統(tǒng)一建模混合視頻、前景、背景與 Alpha 通道，支持視頻摳圖、視頻 inpainting 以及前景與背景替換等關(guān)鍵應(yīng)用。兩個模型在統(tǒng)一框架下共同支持 Text→X、X→X 以及 Text&X→X 三類生成范式，總計(jì)覆蓋十五類典型視頻任務(wù)，驗(yàn)證了該方法的廣泛適用性。

圖 6：該圖展示了不同方法在逆向渲染和正向渲染任務(wù)中的視覺效果。相比其他方法存在的偽影與細(xì)節(jié)丟失，UniVidX 生成結(jié)果更接近真實(shí)分布。尤其在光照一致性與幾何細(xì)節(jié)方面，表現(xiàn)出更高的穩(wěn)定性與精度。

值得關(guān)注的是，UniVidX 在數(shù)據(jù)效率方面表現(xiàn)出顯著優(yōu)勢。實(shí)驗(yàn)結(jié)果表明，即使在不足千條視頻的數(shù)據(jù)規(guī)模下，模型仍能夠在多個任務(wù)上達(dá)到或超過現(xiàn)有最優(yōu)方法，并在真實(shí)場景與分布外數(shù)據(jù)上保持良好的泛化能力。這一現(xiàn)象表明，該方法并非依賴大規(guī)模任務(wù)數(shù)據(jù)進(jìn)行學(xué)習(xí)，而是通過合理的結(jié)構(gòu)設(shè)計(jì)與訓(xùn)練策略，有效激活并利用了預(yù)訓(xùn)練視頻擴(kuò)散模型中蘊(yùn)含的動態(tài)世界先驗(yàn)。

圖 7：該表展示了 UniVidX 在真實(shí)世界 MAW 數(shù)據(jù)集上的反照率估計(jì)性能。盡管僅在合成數(shù)據(jù)上訓(xùn)練，模型仍取得最佳強(qiáng)度誤差指標(biāo)，并在色度誤差上保持競爭力。結(jié)果表明該方法具備良好的跨域泛化能力。

在系統(tǒng)評測方面，UniVidX 在多個關(guān)鍵任務(wù)中取得領(lǐng)先表現(xiàn)。在視頻逆向渲染與正向渲染任務(wù)中，模型在 PSNR、SSIM 及感知指標(biāo)上整體優(yōu)于現(xiàn)有擴(kuò)散模型方法；在法線估計(jì)任務(wù)中，在顯著減少訓(xùn)練數(shù)據(jù)規(guī)模的情況下仍達(dá)到接近甚至優(yōu)于專用模型的性能；在視頻摳圖任務(wù)中，作為無需額外輔助信息的模型，其結(jié)果超過多種依賴 mask 輸入的方法。同時，在文本驅(qū)動生成任務(wù)中，模型在視覺質(zhì)量、語義一致性以及跨模態(tài)一致性方面均獲得更高評價(jià)，且在時間一致性方面顯著優(yōu)于圖像級方法。

圖 8：該表對比了 UniVidX 與多種專用法線估計(jì)方法的性能。盡管訓(xùn)練數(shù)據(jù)規(guī)模顯著更小，UniVidX 仍達(dá)到接近甚至優(yōu)于部分專用模型的精度。該結(jié)果體現(xiàn)了利用擴(kuò)散先驗(yàn)進(jìn)行統(tǒng)一建模的高數(shù)據(jù)效率優(yōu)勢。

從更高層面來看，UniVidX 的價(jià)值不僅體現(xiàn)在單項(xiàng)任務(wù)性能的提升上，更體現(xiàn)在其系統(tǒng)能力的整合與擴(kuò)展。由于所有模態(tài)共享統(tǒng)一的生成框架，不同任務(wù)可以在同一模型內(nèi)部靈活組合，從而支持更加復(fù)雜的視頻編輯與內(nèi)容生成流程。

例如，可以先進(jìn)行視頻逆向渲染獲取物理屬性，再基于文本進(jìn)行重打光或材質(zhì)編輯；也可以通過 Alpha 分解實(shí)現(xiàn)視頻 inpainting 與背景替換。這種多模態(tài)可組合的能力，使 UniVidX 從單一模型擴(kuò)展為面向復(fù)雜應(yīng)用的統(tǒng)一視頻圖形引擎。

圖 9：該表展示了 UniVid-Alpha 在視頻摳圖任務(wù)上的定量表現(xiàn)。作為無需輔助 mask 輸入的方法，UniVidX 在 MAD、MSE 等關(guān)鍵指標(biāo)上優(yōu)于多種現(xiàn)有方法。結(jié)果說明擴(kuò)散模型先驗(yàn)?zāi)軌蛴行娲鷤鹘y(tǒng)顯式分割信號。

總體而言，UniVidX 的提出標(biāo)志著視頻擴(kuò)散模型正在從單一任務(wù)工具向通用視頻圖形基礎(chǔ)模型轉(zhuǎn)變。該工作驗(yàn)證了一個重要方向：在具備強(qiáng)大預(yù)訓(xùn)練先驗(yàn)的前提下，通過合理的多模態(tài)建模機(jī)制，可以將傳統(tǒng)圖形學(xué)中的分解、估計(jì)、生成與編輯任務(wù)統(tǒng)一到同一框架中。這一進(jìn)展不僅為視頻生成與理解提供了新的技術(shù)路徑，也為自動駕駛仿真、具身智能、影視制作等領(lǐng)域的實(shí)際應(yīng)用奠定了重要基礎(chǔ)。

作者介紹

本文第一作者為南京大學(xué)本科生陳厚源，即將入學(xué)香港科技大學(xué) MMLab 開展研究。本文通訊作者為香港科技大學(xué) MMLab 饒安逸老師。值得一提的是，斯坦福大學(xué)博士生 Lvmin Zhang 也是本文作者之一，他此前曾與饒安逸老師合作完成 ControlNet、IC-Light 等代表性工作，其中 ControlNet 曾獲 ICCV Marr Prize。此外，清華大學(xué)趙昊老師也為該工作提供了重要指導(dǎo)，共同推動了項(xiàng)目的完成。