螞蟻集團打造"全能選手"：一個模型同時看懂圖片又能畫圖

這項由螞蟻集團旗下Inclusion AI的AGI研究中心主導完成的研究，于2026年4月22日以預印本形式公開發布，論文編號為arXiv:2604.20796，有興趣深入鉆研技術細節的讀者可通過該編號在arXiv平臺檢索完整論文。

說到人工智能，大多數人腦海中浮現的可能是兩類形象：一類是能看圖說話、回答問題的"聰明助手"，另一類是能根據文字描述創作精美插圖的"數字畫師"。長期以來，這兩種能力幾乎總是由兩套完全不同的系統分別承擔，就好比一家餐廳里，前廳服務員和后廚大廚是兩撥人，各司其職。然而，螞蟻集團的研究團隊提出了一個大膽的問題：能不能培養一個"全能型員工"，既能端茶倒水，又能顛勺炒菜？

這個"全能員工"就是本文的主角——LLaDA2.0-Uni。

**一、為什么我們需要一個"全能模型"**

要理解這項研究的意義，先得弄清楚過去的模型是怎么工作的。在此之前，人工智能領域存在兩條涇渭分明的賽道：一條是"理解賽道"，代表選手是Qwen-VL、InternVL這類模型，它們擅長看圖理解、回答問題，就像一位博學多識的評論家，能把一幅畫的內容講得頭頭是道；另一條是"生成賽道"，代表選手是Flux、Z-Image這類模型，它們的本領是根據你的文字描述憑空畫出圖來，像一位才華橫溢的插畫師。

問題在于，現實世界里的任務往往同時需要這兩種能力。當你希望AI幫你改一張照片——先看懂原圖，再按照你的意圖修改——單純的"理解者"做不到這件事，單純的"生成者"又看不懂你的要求。于是，人們開始嘗試把兩套系統拼在一起，但這就像把兩輛自行車綁在一起假裝是一輛摩托車，效率低、協調難，維護成本也高。

更關鍵的是，一個真正融合的系統有潛力讓兩種能力相互促進。就像一個人既懂繪畫理論又有創作實踐，他的審美判斷力和創作水平會彼此滋養，遠超只懂其中一樣的人。這種相互增益，是分開的兩套系統永遠無法獲得的。

過去也有人嘗試做"統一模型"，但效果差強人意。問題出在哪里？研究團隊把癥結歸結為三點：第一，以往統一模型處理圖片所用的"詞典"（即視覺分詞器）只懂像素級別的重建，缺乏真正的語義理解，導致模型在看圖理解任務上表現平平；第二，圖片被壓縮得太厲害，細節丟失，畫出來的圖質量不高；第三，模型內部的信息流動方式過于"民主"——所有內容都平等地相互參考，這對文字生成反而是一種干擾。

正是帶著對這些問題的深刻理解，研究團隊設計出了LLaDA2.0-Uni這套全新的架構。

**二、這套系統的核心思路：給圖片和文字找到"共同語言"**

LLaDA2.0-Uni的整體架構可以用一個通俗的比喻來理解：把它想象成一家專業翻譯機構，專門負責在圖像世界和語言世界之間做雙向翻譯。這家翻譯機構由三個核心部門組成，分工明確、協作緊密。

第一個部門是"前臺接待"，負責把輸入的圖片轉換成系統能夠統一處理的"詞匯"，這個部門使用的工具叫做SigLIP-VQ分詞器。普通人可以把它理解成一位非常資深的"圖片翻譯官"——當一張圖片遞到它面前時，它不會只盯著每個像素的顏色值看（那是只關注表面的低級翻譯），而是先理解圖片里有什么、有什么含義，然后再把這種語義理解轉換成一套標準化的"詞匯編號"，共有16384個詞匯可以選用。

這種翻譯方式的獨特之處在于，它的訓練目標從一開始就是"理解"而不是"重建"。傳統的圖片分詞器就像一個靠機械記憶工作的翻譯，它的評判標準是"把圖片復原后像不像原來那張"，只要外表像，管它理沒理解內容。SigLIP-VQ則不同，它直接用圖片理解任務來訓練自己，就像一位靠閱讀理解考試來練習的翻譯，天然地更懂圖片里的語義內容。

第二個部門是"核心處理大腦"，叫做擴散大語言模型（dLLM），基于螞蟻集團之前開發的LLaDA2.0構建，擁有160億個參數規模。這個大腦的特別之處在于兩點：一是它采用了一種叫做"混合專家"的結構（MoE），可以理解成這個大腦里有很多不同領域的專家，每當一個問題進來，系統會自動決定讓哪些專家來處理，而不是讓所有專家都強制參與每一件事，效率大大提高；二是它處理信息的方式是"擴散"而非"逐字生成"——傳統的語言模型像一位一個字一個字往下寫的作家，而擴散模型更像一位先勾勒出整體草稿再逐步細化的畫家，能夠同時處理多個位置，速度更快，還能前后照應。

這個大腦接收的是經過第一個部門處理后的統一詞匯序列——無論是文字還是圖片，都已經被轉換成了同一種"語言"，大腦不需要區分它們的來源，只需要在這個統一的空間里做思考和推理。

第三個部門是"圖像渲染工廠"，叫做擴散解碼器。當大腦完成了思考，決定了要生成什么樣的圖片（以詞匯序列的形式），這個部門負責把這些抽象的詞匯序列轉換回看得見摸得著的高質量圖像。它基于另一個預訓練的文圖生成模型構建，專門負責圖像的"精細還原"工作，還能在原始分辨率的基礎上進行兩倍超分辨率處理，讓圖像細節更加清晰。

這三個部門的協作方式非常優雅：前臺接待把圖片翻譯成詞匯，大腦在詞匯空間里完成所有思考，渲染工廠把詞匯還原成圖片。整個流程用同一種表示方式貫穿始終，避免了信息在不同格式之間反復轉換時的損耗。

**三、"分塊處理"：讓大腦既能快速推理又不失精準**

這里有一個值得深入解釋的技術選擇，因為它關系到整個系統能否正常工作。

傳統的語言模型處理文字時，是從左到右一個詞一個詞地生成的，每生成一個詞都會看前面所有已生成的詞，但不會"偷看"后面還沒生成的詞。擴散模型的理想狀態則相反——它希望每個詞都能看到所有其他詞，這樣才能前后一致地生成高質量內容。

但研究發現，對于文字內容，完全的"互看"反而會降低質量，因為文字的語義有天然的時序依賴關系。而對于從SigLIP-VQ轉換來的圖片詞匯，情況又有所不同——這些詞匯是按照圖像語義訓練出來的，天然帶有一定的"順序感"。

研究團隊的解決方案是"分塊注意力"機制，可以用一個生動的比喻來理解：把整個輸出序列切分成若干個"段落"，段落內部的詞可以互相自由參考（像擴散模型），但段落之間的參考是單向的——后面的段落可以看前面的，前面的不知道后面有什么（像傳統語言模型）。這樣既保留了并行處理帶來的速度優勢，又維護了前后文一致性的基本規則。

同時，為了讓模型能處理任意尺寸的圖片，研究團隊放棄了復雜的二維位置編碼，而是采用了一個簡單但有效的方法：在每張圖片的詞匯序列前面加上兩個特殊的"尺寸標記"——一個標記高度，一個標記寬度。就好比收快遞時包裹上寫的尺寸標簽，模型看到這兩個數字就知道這張圖的規格，從而正確地理解圖片內容。

**四、推理加速：不犧牲質量的情況下讓系統跑得更快**

一個功能再強大的系統，如果慢得讓人難以忍受，也沒有實際價值。研究團隊為此專門設計了一套名為SPRINT的加速框架，這個名字代表"稀疏前綴保留與非均勻解掩碼"。

SPRINT從兩個維度同時發力。第一個維度處理的是一個隨著生成內容增長而愈發嚴重的問題：每次去噪（可以理解為每次讓模糊草稿變清晰的步驟）時，系統都要回頭看所有已經生成的內容，而隨著生成內容越來越長，這個"回頭看"的開銷也越來越大。SPRINT的解決方案是，不再強制每次都回頭看全部內容，而是智能地選出最重要的部分保留，其余的暫時忽略。

評判"重要性"的標準由兩個因素共同決定：一是這個位置的內容在注意力計算中被參考的頻率（越常被參考，說明越重要）；二是模型對這個位置預測結果的把握度（越不確定的地方，越需要保留參考）。兩個因素各占一半權重。另外，系統對文字內容和圖片內容采用不同的保留比例——圖片內容由于在空間上存在大量相似的冗余，可以更激進地壓縮；文字內容，尤其是指令和推理鏈，則幾乎不壓縮。

第二個維度處理的是去噪步數的問題。傳統做法是不管內容難不難，每一步都固定解開相同數量的"遮蓋"。SPRINT則改為自適應策略：對于模型特別有把握的位置，一次就解開；對于拿不準的位置，慢慢來、多留幾步。這樣把"解題預算"集中用在真正需要的地方，總的步數就可以減少。

兩個維度疊加后，SPRINT在幾乎不影響生成質量的前提下，把系統處理速度提升了約1.6倍。對于文檔問答這類長輸出任務，速度提升甚至能達到3.5倍。

**五、圖像生成加速：從50步到8步，質量幾乎不打折**

渲染工廠部分也面臨著速度問題。標準的擴散圖像生成需要50次迭代才能生成高質量圖片，在單張GPU上生成一張1024×1024的圖片要花費約33秒，這對實際應用來說太慢了。

研究團隊通過"蒸餾"技術來解決這個問題——可以把這個過程理解為讓一個經驗豐富的老師（50步模型）把自己的知識壓縮傳授給一個學生（8步模型）。蒸餾后的學生模型只需要8步就能完成原來50步才能完成的任務，速度提升了11.4倍，生成時間從33秒壓縮到不足3秒，而圖像質量在各項基準測試上幾乎沒有明顯下降。

**六、數據是核心：海量且精心篩選的多模態訓練素材**

再精妙的架構，也需要海量、高質量的數據來喂養。研究團隊在數據準備上投入了大量工作。

在理解類數據方面，團隊開發了一套從粗到細的OCR數據生產流程：先用自動化的OCR工具生成初步標注，再用更強大的視覺語言模型進行核查和修正，最終在不需要大量人工標注的情況下，生產出數以百萬計的高質量文檔理解訓練數據。此外，通過目標檢測數據集結合模型自動驗證，構建了空間關系和計數推理數據。整個SFT（有監督微調）數據集規模約達6000萬條樣本，其中多模態數據與純文本數據的比例為5:1，覆蓋了從單輪對話到多輪對話、從單圖理解到多圖推理的各種場景。

在生成類數據方面，團隊從網絡上收集了超過2億張圖片，經過三輪篩選——元數據過濾（去掉分辨率太低的）、美觀度過濾（去掉視覺質量差的）、畫質過濾（去掉技術質量不達標的）——最終留下1.4億張高質量圖片，并用最強的視覺語言模型重新生成了更準確、更豐富的圖片描述。

在圖像編輯數據方面，團隊整合了多個公開的編輯數據集，還通過自動化流程生成了新的編輯數據對，并用強大的模型對編輯指令進行了質量控制：剔除掉那些"沒有產生可見變化"或"產生了明顯瑕疵"的樣本，對指令不準確的樣本則根據實際視覺變化重寫指令。

在交錯生成數據方面，團隊從一個大型視頻數據集出發，通過嚴格篩選（時長、美觀度、畫面清晰度、運動幅度）提煉出600萬個高質量視頻片段，每隔5秒采樣一幀，形成包含2到6張圖片的交錯圖文序列，并用模型生成對應的動作描述和場景變化描述。

為了讓模型具備邊推理邊生成圖像的能力，團隊還專門構建了約800萬條推理增強數據，支持"先想后畫"和"邊想邊畫"兩種模式。

**七、三階段訓練：循序漸進地培養全能能力**

有了數據，還需要合理的訓練計劃。研究團隊把訓練劃分為三個遞進的階段，就像培養一個全能運動員要先打基礎、再專項訓練、最后上場比賽。

第一階段是視覺-語言對齊，目標是讓模型學會"看圖識意"。這個階段主要用圖片描述數據和純文本數據，讓模型在保持原有語言能力的同時，逐步建立對圖片內容的理解。為了應對圖片詞匯序列可能很長的問題（一張512×512的圖片會產生約1024個詞匯），訓練過程采用了漸進式分辨率策略：生成任務從256×256的小圖開始，逐步過渡到512×512；理解任務則統一用800像素邊長的任意分辨率圖片。整個階段處理了約1000億個詞元。

第二階段是多任務預訓練，目標是拓展模型的能力邊界，處理更復雜的任務。這個階段引入了OCR、視覺計數、空間定位、圖片編輯、參考圖像驅動的生成、風格遷移、多視角生成等多種任務。這是讓模型從"能看圖說話"升級到"能處理各種復雜視覺任務"的關鍵階段，共處理約2100億個詞元。

第三階段是有監督微調，目標是讓模型真正能夠按照用戶指令做事。訓練分兩步走：先在8K上下文長度下訓練指令理解和遵循能力，再擴展到16K上下文來處理需要長鏈推理的復雜任務，以及長序列的交錯生成。這個階段還引入了一個專門的"損失重加權"機制來解決訓練樣本長短不一的問題——長樣本和短樣本的梯度貢獻各自按照序列長度的平方根進行歸一化，避免長樣本主導訓練方向，也避免短樣本被忽視，共處理約800億個詞元。

**八、實驗結果：在多條賽道上的表現成績**

LLaDA2.0-Uni在覆蓋21個多模態理解基準的評測中，表現出了顯著超越同類擴散架構統一模型的能力。與此前的擴散統一模型Lumina-DiMOO相比，它在MMStar（綜合視覺理解）上的得分為64.1對比61.0，在MMMU（跨學科視覺推理）上得分為50.1對比44.9，在數學視覺推理任務MathVista上得分高達68.1，而Lumina-DiMOO在這個任務上僅有10.3分。

更值得關注的是，LLaDA2.0-Uni與專門為視覺理解任務設計、優化的Qwen2.5-VL-7B之間的差距已經非常微小，在部分指標上甚至反超——MMStar得分64.1對比63.9，計數理解基準CountBench得分86.0對比84.9。對于一個同時要承擔生成任務的統一模型來說，能做到與專用理解模型幾乎平齊，是相當可觀的成就。

在圖像生成方面，LLaDA2.0-Uni在GenEval（基于物體合成的生成評估）上取得了0.89的綜合分，在所有評測模型中位置排在最高分之列，特別是在"空間位置"這一細項上以0.90的得分超越了所有對比模型，包括專門做圖像生成的模型。在DPG-Bench（文本描述對齊生成）上，它以87.76的總分在統一模型類別中名列第一，超過了LLaDA-o（87.04）和Hunyuan Image 3.0（86.10）等強勁對手。在UniGenBench（綜合生成能力）上，它取得了79.63的得分，不僅在統一模型中名列前茅，在邏輯理解（63.99）和布局生成（90.30）兩個維度上甚至超越了部分專用生成模型。

在圖像編輯方面，ImgEdit基準測試的總分為3.92，在所有統一模型中排名第一，顯著超越OmniGen2（3.44）和InternVL-U（3.67）。在需要同時參考多張圖片進行編輯合成的MICo-Bench上，LLaDA2.0-Uni以47.1的綜合得分創下新紀錄，超越Qwen-Image-Edit（35.9）和OmniGen2（33.8）。同樣是擴散架構的Lumina-DiMOO在這個任務上只有23.3分，兩者的巨大差距印證了LLaDA2.0-Uni在架構和數據設計上的實質性改進。

在推理信息圖像生成任務WISE-Bench上，LLaDA2.0-Uni以0.68的綜合分在所有統一模型中排名第一，與生成專用模型LongCat-Image（0.65）持平甚至略超。更有趣的是，當模型切換到"先思考后生成"的推理模式時，得分進一步提升到0.78，提升幅度約10%，說明理解能力與生成能力的融合確實帶來了可量化的增益。

**九、交錯生成與推理：真正讓理解和生成協同工作**

在各項能力之上，研究團隊著重探索了LLaDA2.0-Uni最具前瞻性的一項能力：交錯生成與推理。

所謂交錯生成，就是模型能夠在同一個輸出中把文字和圖片穿插著輸出，就像講一道菜的做法時既給出文字說明又配上對應步驟的圖片。研究團隊為此專門構建了一套新的評測基準InterGen，包含150個樣本，涵蓋故事創作、事件預測、過程說明等多種實際場景，用Gemini和Qwen3-VL兩個強模型作為評判，從文字連貫性、文字與圖片的對齊程度、前后圖片的一致性三個維度打分。對比另一個支持交錯生成的模型Emu3.5，LLaDA2.0-Uni在故事講述和時序預測類任務上整體表現更好，說明融合訓練帶來的語義一致性在復雜的多圖序列任務中有明顯體現。

交錯推理則更進一步——模型不只是輸出文字和圖片的交錯序列，而是在思考過程中同時產生文字推理步驟和對應的說明圖示，類似于一個解題的學生既寫出推理過程又畫出示意圖。研究團隊展示了兩個令人印象深刻的案例：一是國際象棋殘局分析，模型逐步考慮每個候選走法，并為每一步的棋盤狀態生成可視化示意圖；二是阿特伍德機（一種經典的物理力學裝置）的受力分析，模型用文字寫出牛頓第二定律的推導過程，同時畫出對應的受力分析圖。這種能力目前還處于早期探索階段，但已經展示出統一架構在復雜推理任務上的獨特潛力。

**十、還有哪些地方值得繼續改進**

研究團隊在論文中直接指出了當前系統的三個主要局限。

SigLIP-VQ分詞器在語義理解方面表現出色，但在保留圖片細節方面存在先天的局限——畢竟它是為理解而非重建設計的。這種局限在圖像編輯任務中表現最為明顯：當需要精確保留原圖的局部細節時，語義詞匯的表示粒度不夠細，容易出現細節失真。未來需要探索更好的重建技術來彌補這一不足。

交錯生成與推理的能力目前規模還比較有限，主要受制于訓練數據的數量和多樣性。完全釋放這種能力需要更大規模的訓練數據，以及相應地擴大模型參數量。

強化學習方面，團隊已經開始嘗試將強化學習引入統一擴散模型的訓練，但如何有效地優化這類模型的表現仍是一個難題。未來計劃在解決這個問題后向公開社區發布相關方法和模型。

說到底，LLaDA2.0-Uni最大的意義不只是刷新了幾項基準分數。它證明了一件更重要的事：在同一套統一框架下，讓圖片理解和圖片生成協同工作是完全可行的，而且這種統一不需要在兩種能力之間做太大的妥協。當模型能夠邊理解邊生成、邊推理邊畫圖的時候，人工智能才算是開始真正接近人類的認知方式——人類在思考和表達時，從來就不是文字與圖像截然分開的。這項研究的模型和代碼已經在GitHub和HuggingFace平臺上公開，感興趣的讀者可以通過arXiv編號2604.20796查閱完整論文，進一步了解技術細節。

Q&A

Q1：LLaDA2.0-Uni的SigLIP-VQ分詞器和傳統VQ-VAE有什么本質區別？

A：傳統VQ-VAE的訓練目標是"把圖片壓縮再還原，還原越像越好"，所以學到的是像素級特征，缺乏語義理解。SigLIP-VQ直接用圖片理解任務來訓練，學到的是語義特征，能理解圖片里有什么、意味著什么，因此在視覺問答等理解任務上表現遠超傳統方案。代價是無法直接從這些詞匯還原圖片，需要額外的擴散解碼器來完成圖像重建。

Q2：SPRINT加速框架對圖像生成質量影響大嗎？

A：總體影響很小。實驗數據顯示，開啟SPRINT后，九個測試基準的平均分從76.3降到75.7，下降不足1分，但處理速度提升了1.6倍。在DocVQA這類長輸出任務上，速度甚至提升了3.5倍。部分基準如MMMU反而因為自適應解掩碼策略把更多計算集中在不確定位置而略有提升。對字符級精度要求極高的OCRBench下降相對明顯，約2.3分。

Q3：LLaDA2.0-Uni的交錯推理能力現在能用在什么實際場景里？

A：目前處于早期階段，已經能完成需要逐步推理同時配圖說明的任務，比如物理力學分析、棋類策略分析等需要"文字推理+圖示說明"配合的場景。但由于訓練數據規模有限，這種能力在復雜度和穩定性上還有提升空間。研究團隊表示后續會擴大相關訓練數據和模型規模，并計劃將強化學習引入進一步提升推理質量。