清華姚權銘團隊提出LMNet，讓語言模型學會自己「組網」

大語言模型正在成為人工智能系統的核心組件。從文本生成、數學推理到代碼編寫，單個大模型已經展現出強大的能力。

然而，隨著任務復雜度不斷提升，一個新的問題也逐漸浮現：未來的智能系統，是否一定要依賴一個越來越大的“單體模型”？還是可以像人類社會、神經系統和計算網絡一樣，通過多個智能單元之間的連接、通信與協同，形成更強大的系統能力？

圍繞這一問題，清華大學姚權銘團隊提出了一種新的 AI 系統組織方式：Language Model Networks。相關論文發表于 ICML 2026，作者為 Shiguang Wu、Yaqing Wang 和 Quanming Yao。該工作進一步設計了LMNet，讓語言模型之間能夠通過稠密、可微、可訓練的方式進行通信，從而探索從“單模型智能”走向“模型網絡智能”的新路徑。

• 論文標題：Language Model Networks: Supervision-Efficient Learning through Dense Communication
• 論文鏈接：https://arxiv.org/abs/2505.12741

一、從“更大的模型”到“更會協作的系統”

過去幾年，大模型研究很大程度上圍繞“規模”展開：更大的參數量、更多的數據、更長的上下文、更強的訓練策略。規模擴展帶來了能力躍遷，也推動了大模型在真實場景中的廣泛應用。

但當模型開始承擔更復雜、更持續、更需要分工的任務時，單體模型也面臨新的邊界：它需要同時完成規劃、推理、檢索、驗證、調用工具和生成結果，系統壓力不斷集中在一個模型內部。

Language Model Networks 提供了另一種視角：預訓練語言模型不必只被看作一個獨立預測器，也可以被看作可復用的計算節點；模型之間的連接、通信和協同，也可以成為智能能力的重要來源。

換句話說，AI 的能力不只來自“模型本身有多強”，也來自“模型被如何組織起來”。

二、為什么僅靠自然語言“聊天”還不夠

在現有的大模型推理 test-time scaling、多模型協作和多智能體系統中，模型之間通常通過自然語言進行交流。例如，一個模型先生成一段文字，另一個模型再讀取這段文字并繼續推理。這種方式直觀、易用，也方便人類理解，因此非常適合快速搭建應用型系統。

但從機器通信的角度看，自然語言并不是最高效的媒介。

語言是離散的、符號化的，模型之間每次交流都需要經歷“內部表示到文本、文本再到內部表示”的轉換過程。這個過程可能帶來信息損失，也會打斷梯度傳播，使得整個系統很難直接根據最終任務目標進行端到端優化。

對于模型與模型之間的協同而言，真正關鍵的問題不只是“怎樣寫提示詞”，而是“怎樣讓通信本身變成可以學習的對象”。

圖 1 ：離散的自然語言對于模型間通信是非必需的，且傳遞信息效率低、難以優化；LMNet 利用稠密連續向量進行模型間通信。

三、LMNet：在語言模型之上構建“模型級神經網絡”

LMNet 的設計可以被直觀理解為：在語言模型之上，再構建一個“模型級神經網絡”。

在普通神經網絡中，神經元通過連接形成層級結構；而在 LMNet 中，預訓練語言模型被視為可復用的計算節點，模型之間的通信模塊則構成可訓練的連接邊。

具體來說，LMNet 保留系統最外層的自然語言輸入和輸出，但在中間模型節點之間，盡量繞開反復的文本生成與文本理解過程，讓節點直接交換連續的稠密向量。這樣一來，模型之間的溝通不再完全依賴人工設計的提示詞、角色分工或中間推理文本，而是可以在訓練過程中自動學習出來。

圖 2 ：LMNet 模型網絡結構示意圖。語言模型作為節點，通信模塊（如 attention block）作為邊，形成可端到端優化的模型網絡。

四、讓通信從人工設計變為自己學習

這項工作的關鍵意義在于，它把“通信”從外部設計的規則，推進為系統內部可優化的能力。系統不需要人為標注每個中間節點應該說什么，也不需要提前規定每個模型必須扮演什么角色。只要最終任務有監督信號，LMNet 就可以通過梯度優化自動調整模型節點之間的信息流，學習“誰該向誰傳遞什么信息”。

從這個意義上看，LMNet 更像是一項關于“智能組織方式”的探索。它將大語言模型從單個預測器，推進為可連接、可組合、可協同的網絡化組件；也將 AI 系統設計從“如何提示一個模型”，進一步推進到“如何組織一組模型”。

這與測試時推理、多智能體協作、工作流優化等方向存在自然聯系，但 LMNet 更進一步關注底層通信機制本身：讓通信變成可微、可訓練、可優化的系統能力。

五、實驗數字：小額外成本下的能力提升

實驗結果顯示，LMNet 在通用能力提升和有限監督適應兩個場景中均展現出良好效果。

在通用能力提升實驗中，研究團隊以 Qwen2.5-0.5B 作為基礎語言模型節點，構建 1/4/4/4/1 結構（共 4 層通信，14 個節點共享參數）的約 1.14B 參數的 LMNet-1B。在額外訓練 token 少于 0.1T、訓練成本不到基礎模型預訓練成本 0.2% 的情況下，LMNet 在多個通用任務上取得了明顯提升（圖 3）。

圖 3：相近參數規模 LLM 的性能比較

此外，考慮利用單個模型進行推理時 test-time scaling 的方法，以在接近的推理時間開銷的條件下進行比較，LMNet 同樣展現了明顯的性能優勢（圖 4）。

圖 4：Qwen2.5-0.5B 不同的 test-time scaling 方法的性能比較

在有限監督適應的場景中，LMNet 通過學習如何交流通信來進行適應。構造更小型的 LMNet，并凍結節點大模型參數只訓練邊模型的參數，以防止更新大量參數導致的過擬合。和其他 SFT 包括 PEFT 方法相比，LMNet 也展現出明顯性能優勢（圖 5、6）。

圖 5：以不同的 LLM 為底座/節點，在 MMLU 上微調并測試的性能比較

圖 6：在 E2E 數據集上用不同的 PEFT 方法微調 GPT2-M 并測試的性能比較

這些數字并不是全文最重要的部分，但它們提供了一個清晰信號：模型之間的可學習通信，確實可能成為提升系統能力的一條有效路徑。LMNet 的價值不只在于某個 benchmark 的提升，更在于它證明了一個方向：通信方式本身可以被學習，模型網絡可以從最終任務監督中自動形成更有效的信息流。

六、從單體智能走向網絡智能

這項工作提示了一種可能的未來方向：下一代 AI 系統未必只是一個不斷擴大的模型，而可能是由多個模型、工具、記憶和反饋模塊共同構成的可學習網絡。

在這樣的系統中，智能不只來自單個模塊的能力，也來自模塊之間如何連接、如何交流、如何共同適應任務。

“溝通即智能”并不是一句簡單的口號，而是對未來 AI 系統形態的一種判斷。當語言模型開始學會自己“組網”，人工智能將從單體模型能力的競爭，走向系統組織能力、通信效率和協同學習能力的競爭。

值得注意的是，這一方向與技術已經受到大模型系統應用的國際前沿研究的持續關注。如近期的 Google DeepMind 和 AWS Agentic AI。這些工作也從不同角度說明：模型間通信媒介、通信拓撲和可學習接口，正在成為構建下一代 AI 系統的重要技術方向。