多所頂尖高校攜手攻克AI協作難題：讓多個AI不斷"迭代進化"

這項研究由來自美國伊利諾伊大學厄巴納-香檳分校、斯坦福大學、英偉達和麻省理工學院的研究團隊聯合完成，以預印本形式于2026年4月28日發布在arXiv平臺，論文編號為arXiv:2604.25917v1。

研究背景：一個AI打天下，為什么越來越吃力？

先從一個生活場景說起。假設你開了一家餐廳，剛起步的時候，一個全能大廚既能備料、又能烹飪、還能擺盤，一個人包辦一切完全沒問題。但隨著訂單量暴增、菜品種類越來越復雜，一個大廚的上限就到頭了——他體力有限，注意力有限，專業深度也有限。于是聰明的老板會怎么做？把廚房拆分成不同的工位，備菜師、炒鍋師傅、擺盤師分工合作，各司其職，整個廚房作為一個整體運轉起來，出品質量和效率都大幅提升。

現在的人工智能領域正面臨類似的處境。單一的大語言模型——就像那個全能大廚——在處理復雜任務時越來越力不從心：要么思路太短視，要么在龐大的解題空間里亂轉找不到方向。于是，研究者們想到了類似"分工廚房"的方案：把多個專門化的AI模型組織成一個團隊，讓它們互相協作，共同解決難題。這就是所謂的"多智能體系統"（Multi-Agent System，簡稱MAS）——多個AI角色分工合作的大協作框架。

然而，已有的多智能體系統存在一個讓人頭疼的問題：這些AI之間的交流，主要依靠的是"文字傳話"。就好比廚房里的師傅們每次協作，都要把想法完整地寫成便條，傳給下一個人，下一個人讀完、理解完，再重新開始自己的工作，然后又寫一張便條往下傳。這個過程不僅耗時，而且每次"翻譯"成文字再"解讀"回來都會損耗信息，讓整個團隊效率大打折扣。更麻煩的是，想要通過訓練讓整個團隊統一進化，就需要追蹤每個AI的所有參數變化，工程量極其巨大。

正是為了解決這些痛點，研究團隊提出了一個全新的框架，他們將其命名為**RecursiveMAS**。

一、核心創意：讓AI團隊在"心靈感應"層面協作，而不是靠寫便條傳話

RecursiveMAS的靈感，來自最近AI領域的一個有趣發現：把同一個模型"循環使用"多次，讓它反復打磨同一個問題，推理能力會隨著循環次數的增加而不斷提升。研究者把這種方式叫做"遞歸語言模型"——一個模型像在腦子里反復思考一樣，把上一輪的內部狀態直接喂給自己的下一輪，省去了每次都重新從頭講解的麻煩。

RecursiveMAS把這個想法升級了一檔：不只是一個模型自己循環，而是讓**整個多智能體團隊**形成一個大循環。每個AI不再把自己的思考結果轉換成文字再傳給下一個，而是直接傳遞自己大腦最深處的"意圖信號"——研究者把這個稱為"潛在思想"（latent thoughts）。這就好比廚房里的師傅之間不再傳便條，而是直接進行心靈感應式的協作：備菜師傅一邊處理食材，就把自己對這道菜的"感覺"直接傳給炒鍋師傅，炒鍋師傅不需要讀文字，直接就"感受到了"應該怎么做，然后再把他的感受傳給擺盤師。整個團隊共同轉了一圈之后，再共同進入下一輪，每一輪都比上一輪更接近完美答案，最后在最終一輪才輸出給食客看的文字答案。

這個"大循環"之所以能成立，靠的是一個叫做**RecursiveLink**（遞歸鏈接）的小模塊。這個模塊是整個系統的秘密武器，但它本身非常輕量，就像一根精巧的信號轉換線，而不是一臺巨型機器。

二、RecursiveLink是什么？輕量但精妙的"信號轉換器"

先理解一個基礎概念：AI模型在處理問題時，每一步都會產生一種叫做"隱狀態"（hidden state）的內部信號，這是模型理解信息后在大腦深處形成的"感受"，還沒有被轉換成人類能讀的文字。這種內部信號包含的信息非常豐富，但格式和普通文字完全不一樣。

RecursiveLink的任務，就是在這些內部信號之間架橋。它有兩種形態，承擔兩種不同的工作。

第一種叫做**內部鏈接**（Inner Link）。每個AI在自己內部思考時，每產生一個"內部感受"，內部鏈接就把這個感受轉換一下，讓它能被這個AI自己在下一步思考時直接使用，而不必先變成文字再重新"理解"。這就好比你在思考一道數學題時，腦子里的中間推理過程不需要先寫在紙上、再重新看一遍，而是直接在腦內流動——內部鏈接讓AI也能做到這一點。數學上，這個過程寫起來很簡單：把上一步產生的信號h，通過兩層神經網絡變換之后，再加回h本身（這就是"殘差連接"，保證信息不丟失），得到下一步的輸入信號。

第二種叫做**外部鏈接**（Outer Link）。這是專門用來跨越不同AI之間的"語言鴻溝"的。因為不同的AI模型結構不同、內部信號的格式也不同，直接傳遞會出錯。外部鏈接在內部鏈接的基礎上多加了一個維度轉換步驟，把A這個AI的內部信號格式轉換成B那個AI能接收的格式，讓信息無損地跨越模型邊界流動。

研究團隊特別解釋了為什么這兩個模塊都要保留"加回自身"這一步（即殘差連接）。道理很直覺：這一步保留了原始信號的大部分語義，讓這個小模塊只需要學習"如何調整信號格式的差異"，而不需要從零開始學習"如何理解整個信號"。這讓訓練更穩定、效果更好。他們也做了實驗驗證這個設計選擇，后文會詳細講到。

三、整個團隊如何組成一個大循環？

有了RecursiveLink這根"轉換線"，接下來就是把所有AI串起來形成一個循環。

具體流程是這樣的：首先，第一個AI（比如在順序協作模式下叫做"規劃師"）接收到用戶提出的問題，開始用內部鏈接做多步的內部思考，產生一串"潛在思想"信號序列。這些信號通過外部鏈接轉換格式后，傳遞給第二個AI（"批評師"），批評師在自己的輸入之上疊加這些外來信號，繼續用內部鏈接做自己的內部思考，產生新的"潛在思想"。這個過程一路傳下去，直到最后一個AI（"求解師"）完成思考，產生了它的"潛在思想"。

然后，關鍵的一步來了：最后一個AI的輸出信號，通過外部鏈接轉換后，被送回給第一個AI，作為下一輪循環的起點。這樣整個團隊就真正形成了一個閉合的循環。在中間的所有循環輪次里，所有AI之間的通信全部是內部信號；只有在**最后一輪**，求解師才把自己的內部信號解碼成人類能看的文字，作為最終答案輸出。

這種設計有一個很重要的效率優勢。研究團隊做了數學推導（文中稱之為"命題3.1"），證明了這種潛在空間協作的計算復雜度，比傳統的"文字傳話"方式要低得多。原因在于：傳統方式每一步都需要把內部信號投影到動輒幾萬個詞的詞匯表上（計算量正比于詞匯量乘以信號維度），而RecursiveMAS只需要把信號在同一維度空間內做變換（計算量正比于信號維度的平方）。在實際系統中，信號維度遠小于詞匯量，所以省掉這一步帶來的提速是實實在在的。

四、如何訓練整個系統？兩階段"內外循環"學習法

有了架構，還需要一套好的訓練方法。研究團隊設計了一個分兩步走的訓練策略，他們稱之為"內外循環學習范式"（Inner-Outer Loop Training）。

**第一步是內部循環訓練**，對團隊里的每個AI單獨進行，而且可以并行同時訓練所有AI，互不干擾。目標是讓每個AI的內部鏈接學會：在用內部信號進行多步思考時，產生的信號要盡量接近"如果我在正常處理正確答案時，大腦會有什么感受"。具體做法是把正確答案文字輸入這個AI的詞嵌入層（相當于把文字翻譯成AI能理解的格式），得到一個"目標信號"，然后讓內部鏈接產生的信號盡量向這個目標靠攏，用余弦相似度來衡量靠攏程度。這一步就像是讓每個新員工先在自己的崗位上反復練習，直到對自己工作目標有了基本感覺，才開始和整個團隊協作。

**第二步是外部循環訓練**，針對整個團隊系統。這一步把所有AI按照循環結構串聯起來，讓系統從第一輪一直運行到最后一輪，最終由最后一個AI輸出文字答案。用這個文字答案和正確答案之間的誤差（交叉熵損失）來衡量整個系統有多差，然后把這個誤差信號沿著整個計算路徑**反向傳播**回去——不僅穿越當前這一輪的所有AI，還穿越之前所有循環輪次的計算路徑。這樣每一個外部鏈接都能收到來自整個系統最終表現的反饋，知道自己的工作對整體結果貢獻了多少，從而進行調整。

特別值得關注的是，訓練過程中所有AI模型自身的參數是**完全凍結的**，只有內部鏈接和外部鏈接這兩個小模塊的參數在更新。這就像是工廠里的工人本身不需要去上夜校重新培訓，只需要優化工位之間的傳送帶和接口——這大幅降低了訓練成本。

五、為什么在"潛在信號"層面訓練比文字層面更穩定？

這是整個研究中一個非常精彩的理論洞察，研究團隊用數學定理（定理4.1）證明了這一點，但我們可以用更直觀的方式理解它。

在傳統的"文字傳話"多AI系統里，如果要讓誤差信號從最后一步一路傳回最初的第一步，它必須穿過一個叫做"softmax"的函數。這個函數的作用是把內部信號轉換成概率分布（決定下一個詞最可能是什么）。當一個AI對某個選擇非常有把握時，這個概率分布會變得極端——幾乎把所有概率都壓在一個選項上，其他選項接近零。這種極端分布導致傳遞誤差信號的"梯度"（可以理解為"修改信號"）變得極其微小，接近零，誤差信號幾乎無法傳回去。這個現象在深度學習里叫做"梯度消失"——就像是你在給遠處的朋友大喊，但聲音傳到中途就消散了，朋友什么都聽不到，根本無法根據你的反饋來調整自己。

RecursiveLink因為保留了殘差連接（把輸入信號直接加回來），其梯度的下界被證明接近1，而不會趨近于零。這就像是聲音在傳播過程中一直保持著足夠的響度，能夠傳遞到很遠的地方，每個中間節點都能清晰地聽到來自終點的反饋。

六、四種協作模式，一套框架全搞定

RecursiveMAS不局限于某一種固定的AI協作形式，研究團隊把它應用到了四種在現實中常見的多AI協作模式上，展示了這個框架的通用性。

**第一種是順序協作模式**（Sequential Style），三個AI順序排列：規劃師、批評師、求解師。規劃師負責分解問題制定方案，批評師檢查方案并提出改進，求解師綜合前面的工作給出最終答案。這個模式有兩個版本，輕量版用的是參數量在1B至1.5B級別的小模型（Qwen3-1.7B、Llama3.2-1B-Instruct、Qwen2.5-Math-1.5B-Instruct），擴展版用的是4B級別的更強模型（Gemma3-4B-it、Llama3.2-3B-Instruct、Qwen3.5-4B）。

**第二種是混合專家模式**（Mixture Style），三個領域專家AI并行工作——數學專家、代碼專家、科學專家——各自對問題進行獨立分析，然后由一個匯總師將三者的潛在信號合并，給出最終答案。用到的模型包括Qwen2.5-Coder-3B-Instruct負責代碼、BioMistral-7B負責科學領域、DeepSeek-R1-Distill-Qwen-1.5B負責數學，以及Qwen3.5-2B作為匯總師。

**第三種是知識蒸餾模式**（Distillation Style），一個強大的專家AI（Qwen3.5-9B）和一個輕量的學習者AI（Qwen3.5-4B）配對工作。專家的內部知識通過潛在信號傳遞給學習者，學習者在接收到專家"感受"的基礎上生成最終答案。這個模式的目標是讓小模型能盡量接近大模型的表現，同時保持速度優勢。

**第四種是深思熟慮模式**（Deliberation Style），一個內部反思AI（Qwen3.5-4B）和一個工具調用AI（Qwen3.5-4B，配備Python環境和搜索API）配對工作。反思AI不斷檢視當前方案并提出改進方向，工具調用AI負責實際執行計算和信息檢索，兩者反復交換潛在信號直到達成共識，最終由工具調用AI輸出答案。

七、實驗結果：數字說話，效果如何？

研究團隊在9個不同領域的測試集上全面評估了RecursiveMAS，涵蓋數學推理（MATH500、AIME2025、AIME2026）、科學與醫學（GPQA-Diamond、MedQA）、代碼生成（LiveCodeBench-v6、MBPP Plus）以及搜索問答（HotpotQA、Bamboogle）。這9個測試集的難度各不相同：MATH500是經典數學題合集，AIME2025和AIME2026是奧林匹克競賽級別的難題，GPQA-Diamond則是需要研究生水平專業知識的多選題。

**與文字傳話基線的對比**是第一組核心實驗。在相同的多AI結構下，RecursiveMAS和"用文字傳話的遞歸多AI系統"（Recursive-TextMAS）正面PK，隨著循環輪數從1增加到3，RecursiveMAS在精度上的優勢越來越大：第1輪時平均高出約8.1%，第2輪時擴大到約19.6%，第3輪時進一步擴大到約20.2%。這說明潛在信號協作的優勢會隨著更多輪次的反復打磨而不斷放大。

與此同時，效率的優勢也在同步放大。在第1輪循環時，RecursiveMAS的端到端推理速度平均快1.2倍；第2輪時加速到1.9倍；第3輪時達到2.4倍。使用的token數（可以理解為"生成的文字量"，與計算成本直接相關）方面，第1輪減少了34.6%，第2輪減少了65.5%，第3輪更減少了75.6%。精度越來越高、速度越來越快、用的token越來越少——三個維度同時改善，而且改善幅度隨著循環輪數增加而擴大。

**與更廣泛基線的對比**（表3，固定在第3輪循環）展示了RecursiveMAS在整個AI領域里的位置。對比的方法包括：用LoRA微調的單一智能體（參數高效的微調方式）、全參數微調的單一智能體、Mixture-of-Agents（MoA，一個知名的多AI協作框架）、TextGrad（通過文字梯度優化多AI系統的方法）、LoopLM（單模型的循環推理方法）以及Recursive-TextMAS。在6個測試集上，RecursiveMAS在每個測試集上都超越了最強基線，平均超越幅度為8.3%。其中在最難的AIME2025上，RecursiveMAS達到86.7%，而次優基線僅73.3%，差距高達13.4個百分點；在AIME2026上同樣達到86.7%，而次優基線僅76.7%；在GPQA-Diamond上達到66.2%，超越次優基線約4個百分點；在代碼生成（LiveCodeBench）上達到42.9%，超越次優基線約3個百分點。

**四種協作模式的實驗**進一步驗證了RecursiveMAS的通用性。在混合專家模式下，RecursiveMAS在每個測試集上都超越了最強的單一領域專家，平均提升6.2%，說明多專家的潛在信號融合確實產生了超越任何單一專家的效果。在深思熟慮模式下，RecursiveMAS相比單獨使用工具調用AI提升了4.8%，說明潛在信號層面的反思循環對工具調用類任務同樣有效。在知識蒸餾模式下，RecursiveMAS的學習者相比單獨的學習者提升了8.0%，而端到端速度仍然比專家模型快1.5倍——用更少的計算資源獲得接近大模型的效果，這對實際部署非常有價值。

八、深入分析：這個系統到底在內部做了什么？

研究團隊還做了幾組非常有意思的深入分析，幫助我們理解為什么RecursiveMAS能有效果。

**RecursiveLink的結構對比實驗**（表4）測試了四種不同設計：只有1層網絡、1層網絡加殘差連接、2層網絡、以及最終選用的2層網絡加殘差連接。實驗在Math500、GPQA-Diamond和LiveCodeBench三個測試集上進行。結果清楚地顯示，殘差連接帶來了實質性的提升（在GPQA-Diamond上，加了殘差連接的1層設計能從63.2%提升到65.3%，甚至超過了沒有殘差連接的2層設計的64.5%），而2層結構在有殘差連接的基礎上進一步帶來提升，最終2層加殘差連接的組合在所有測試集上都取得最高分。這驗證了研究團隊對這個模塊的設計直覺是正確的。

**語義分布可視化實驗**（圖7）展示了一個很直觀的現象。研究團隊隨機抽取了500道題，讓RecursiveMAS分別在第1、2、3輪循環后生成答案，然后把這些答案和正確答案都轉換成向量表示，用降維方法（PCA）投影到二維平面上可視化。在第1輪時，RecursiveMAS生成的答案分布（橙色點云）和正確答案分布（紫色點云）有明顯的偏移；到第2輪時兩個分布開始靠近；到第3輪時幾乎完全重合。這說明RecursiveMAS在每一輪循環中都在把自己的"理解"向正確答案的方向迭代修正，而不是在隨機游走。

**潛在思想長度的消融實驗**（圖8和表9）探究了每個AI每次思考時應該產生多少步的內部信號。實驗測試了從0到128步的不同設置。結果顯示，隨著內部思考步數增加，性能持續提升，但在大約80步時趨于飽和——繼續增加步數帶來的提升越來越小。這說明適度的內部思考量就足以支撐有效的協作，不需要無限增加，而且80步的內部思考比文字協作模式下需要的長思維鏈要緊湊得多。

**訓練成本分析**（表5）對比了三種訓練方式在擴展版順序協作模式下的消耗。RecursiveMAS只需要更新13.12M個參數（占全部參數的0.31%），峰值GPU內存使用15.29GB，估算成本約4.27美元；而LoRA微調需要更新15.92M參數（0.37%），GPU內存21.67GB，成本6.64美元；全參數微調需要更新42億參數（100%），GPU內存41.40GB，成本9.67美元。不僅如此，RecursiveMAS在下游任務上的平均精度達到74.9%，明顯高于LoRA的66.9%和全參數微調的68.6%。參數最少、內存最省、成本最低，精度反而最高——這個結果相當令人印象深刻。

**遞歸輪數的縮放規律**（圖1上半部分）展示了一個有趣的互補效應：訓練時用的循環輪數越多，系統整體的"起跑線"越高；推理時用的循環輪數越多，在這個起跑線上還能繼續攀升。兩個維度都增加時效果最好，而且兩者之間存在一定的互補性——即使訓練輪數少，推理時多循環幾輪仍然能有效提升效果。

九、案例分析：循環思考是如何糾錯的？

論文附錄中提供了一個非常生動的案例（附錄F），展示了RecursiveMAS在不同循環輪次下如何改變答案。

題目是：對于多少個大于1的正整數n，2的24次方是一個完全的n次冪？

在第1輪時，求解師的推理路徑出現了錯誤：它把"n的可能取值"理解為"24的因子對（m,n）中n的那個"，列出了(2,12)、(3,8)、(4,6)、(6,4)、(8,3)、(12,2)這6對，然后說可能的n是2、3、4、6、8、12，共6個，給出了**錯誤答案6**。

實際上，正確的思路應該是：24的所有因子（1、2、3、4、6、8、12、24）都是合法的n，去掉n=1的情況，剩下7個，答案是**7**。第1輪的AI錯誤地把因子對的個數和因子的個數混淆了。

到第2輪時，系統在經過一輪潛在信號的完整循環后，求解師的思路發生了轉變：它直接列出了24的所有因子（1、2、3、4、6、8、12、24），然后排除1，得到7個合法的n，給出了**正確答案7**。第3輪時依然給出正確答案，說明系統在第2輪就已經收斂到了正確的思路。

這個案例直觀地說明了遞歸循環的作用：前一輪的潛在信號為下一輪提供了隱含的"方向感"，讓系統能在后續輪次中規避掉第一次嘗試中的錯誤路徑。

說到底，RecursiveMAS做到的事情，可以用一句話概括：讓一群AI組成的團隊，能夠像一個會反復自我審視的整體一樣運作，而不是像一條只會單向傳話的流水線。這個轉變帶來的不只是精度的提升，更是效率的大幅改善——團隊越大、循環越多，相比文字傳話方式省下的計算量就越多，精度優勢也越大。

這項研究對未來AI系統的設計有實際的啟示意義。當我們需要部署復雜的多AI協作系統時，讓它們在內部信號層面交流并形成循環，而不是依靠文字轉來轉去，可能是一個值得認真考慮的方向。當然，這個框架目前也有一些局限——比如潛在信號不像文字那樣對人類透明可讀，調試和理解系統行為時可能更困難；循環輪數的增加雖然比文字方式更高效，但總體計算量仍然是增加的。這些都是未來研究可以繼續探索的方向。

有興趣深入了解這項研究的讀者，可以在arXiv上通過論文編號2604.25917查閱完整論文，項目主頁也在 recursivemas.github.io 上提供了更多信息。

**Q&A**

Q1：RecursiveMAS和普通多智能體系統有什么本質區別？

A：普通多智能體系統里，AI之間用文字傳遞信息，每次都要把內部想法"翻譯"成文字，下一個AI再重新"理解"。RecursiveMAS讓AI直接傳遞內部信號（潛在思想），跳過文字翻譯這一步，并且讓所有AI形成一個閉合循環反復迭代，而不是單向流水線。整個系統只有最后一輪才輸出人類可讀的文字。

Q2：RecursiveMAS訓練起來是不是很貴？需要改動每個AI模型的參數嗎？

A：RecursiveMAS的訓練非常輕量。所有AI模型的參數在訓練過程中完全凍結，只有RecursiveLink這個小模塊（約1300萬參數，占全部參數的0.31%）在更新。實驗顯示訓練成本約4.27美元，峰值GPU內存15.29GB，比LoRA微調和全參數微調都要省錢省資源，但精度反而更高。

Q3：RecursiveMAS只能用于數學題嗎，還是可以處理其他任務？

A：RecursiveMAS被驗證可以處理多種不同類型的任務。研究團隊在9個測試集上做了實驗，覆蓋數學推理、科學與醫學問答、代碼生成以及需要聯網搜索的多跳問答。四種不同的協作模式（順序、混合專家、知識蒸餾、深思熟慮）也適用于不同場景，說明這個框架具有較好的通用性。