北大團(tuán)隊提出 SHINE：任意文本轉(zhuǎn)化大模型 LoRA，僅一次前向傳播

機(jī)構(gòu)：北京大學(xué)人工智能研究院

作者：劉曄瑋，王希元，毛彥升，Yoav Gelberg，Haggai Maron，張牧涵

我們提出了一種全新的超網(wǎng)絡(luò)（Hypernetwork）架構(gòu)：僅需一次前向傳播，即可將幾乎任意文本轉(zhuǎn)化為大語言模型的 LoRA 參數(shù)。通過這種方式，文本中的知識可以被直接內(nèi)化到大模型參數(shù)中，并支持基于該文本進(jìn)行多輪對話。

我們的工作與當(dāng)前大模型研究中的多個熱點方向密切相關(guān)，包括大模型快速適配（adaptation）、持續(xù)學(xué)習(xí)（continual learning）、參數(shù)化記憶（parametric memory）、面向大模型的超網(wǎng)絡(luò)（hypernetwork）設(shè)計等。

論文、代碼、存檔點、數(shù)據(jù)集全部開源！

• 論文名稱：SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
• arXiv：https://arxiv.org/abs/2602.06358
• GitHub：https://github.com/Yewei-Liu/SHINE
• Hugging Face：https://huggingface.co/collections/Yewei-Liu/shine

背景知識

超網(wǎng)絡(luò)（Hypernetwork）是一類特殊的神經(jīng)網(wǎng)絡(luò)，其輸出不是普通結(jié)果，而是另一個神經(jīng)網(wǎng)絡(luò)的參數(shù)。在本文中，我們訓(xùn)練一個超網(wǎng)絡(luò)：以任意文本為輸入，直接生成大模型的 LoRA 參數(shù)，從而實現(xiàn)只需一次前向傳播即可將文本轉(zhuǎn)化為對應(yīng)的 LoRA。

過去，利用 hypernetwork 為神經(jīng)網(wǎng)絡(luò)生成參數(shù)的研究通常局限在小模型上。即使在大模型場景中，由于架構(gòu)設(shè)計困難，往往也只能用極其簡單的架構(gòu)，例如絕大多數(shù)工作都是復(fù)用一個小型 MLP，因此表達(dá)能力有限，只能完成較簡單的任務(wù)。

在我們的工作中，通過架構(gòu)創(chuàng)新，我們首次設(shè)計了一種表達(dá)能力更強(qiáng)、可通過大規(guī)模訓(xùn)練持續(xù)提升、具有實際應(yīng)用潛力的 hypernetwork 架構(gòu)，使得為大模型生成參數(shù)這一思路從實驗性的嘗試，發(fā)展為具有廣泛應(yīng)用前景的工具

值得注意的是，這一方向正逐漸受到學(xué)界和工業(yè)界的關(guān)注。例如，在我們工作發(fā)布后不久，Sakana AI 發(fā)布了 doc-to-lora，同樣利用 hypernetwork 將文檔轉(zhuǎn)換為 LoRA 參數(shù)，其基本思路與 SHINE 相似。盡管他們的架構(gòu)和訓(xùn)練規(guī)模相比 SHINE 仍有差距，但其引入的 ICL 蒸餾思路非常有啟發(fā)性。此外，騰訊近期發(fā)布的 HY-WU 也基于類似的 hypernetwork 思路，不過應(yīng)用在圖像生成任務(wù)中。

可以預(yù)見，在未來，利用 hypernetwork 為大模型實時生成參數(shù)的研究將會越來越多，并逐漸走向?qū)嶋H應(yīng)用。我們希望通過本文介紹 SHINE，同時讓更多研究者關(guān)注這一早期但潛力巨大的方向，共同推動其發(fā)展。

本文亮點

巨大的實用潛力

我們提出的方法具有良好的通用性與規(guī)模化（scaling）能力，有廣泛的應(yīng)用場景，為大模型的知識注入與快速適配提供了新的技術(shù)路徑。該方法并非局限于在少數(shù) benchmark 上提升指標(biāo)，而是一套通用的、泛化性強(qiáng)的可落地技術(shù)方案。

創(chuàng)新且高效的架構(gòu)設(shè)計

我們提出了一種全新的超網(wǎng)絡(luò)（Hypernetwork）架構(gòu)，有效解決了在大語言模型上構(gòu)建超網(wǎng)絡(luò)時面臨的關(guān)鍵挑戰(zhàn)，在參數(shù)規(guī)模與表達(dá)能力之間取得了良好的平衡。

成熟的訓(xùn)練流程與持續(xù)進(jìn)化能力

該方法采用與大模型訓(xùn)練一致的「預(yù)訓(xùn)練 - 指令微調(diào)」訓(xùn)練范式，因此能夠直接利用現(xiàn)有的大規(guī)模訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。同時，得益于架構(gòu)設(shè)計的優(yōu)勢，模型性能能夠隨著數(shù)據(jù)規(guī)模的增加持續(xù)提升，展現(xiàn)了明顯的規(guī)模化（scaling）潛力。

快速高效推理

與通過傳統(tǒng) SFT（Supervised Fine-Tuning）生成 LoRA 需要多輪訓(xùn)練不同，我們的方法在推理階段僅需一次前向傳播即可完成任務(wù)，無需額外訓(xùn)練。相比傳統(tǒng)的 ICL（In-Context Learning）方法，我們已將上下文知識內(nèi)化到 LoRA 參數(shù)中，因此無需再將 context 作為 prompt 輸入。這不僅顯著減少了 token 占用，也降低了推理階段的計算開銷。

超越 TTT 的持續(xù)學(xué)習(xí)新思路

在 SQuAD 數(shù)據(jù)集上的實驗表明，與近期受到關(guān)注的 Test-Time Training（TTT）方法相比，我們通過單次前向傳播生成的 LoRA，效果甚至優(yōu)于需要消耗大量時間和算力進(jìn)行測試時訓(xùn)練所得到的 LoRA。這為大模型持續(xù)學(xué)習(xí)提供了新思路。

方法介紹

一個例子

我們訓(xùn)練了一個超網(wǎng)絡(luò)，使其能夠以任意一段文本作為輸入并生成對應(yīng)的 LoRA 參數(shù)。將該 LoRA 與大語言模型（LLM）結(jié)合后，模型可以圍繞輸入文本進(jìn)行多輪對話。如上圖所示，該 LoRA 內(nèi)化了文本的信息，并顯著改變了原始大模型的行為，使其能夠基于該文本展開對話。

超網(wǎng)絡(luò)架構(gòu)設(shè)計

我們的目標(biāo)是構(gòu)建一個超網(wǎng)絡(luò)，可以直接為大語言模型（LLM）生成 LoRA。架構(gòu)設(shè)計面臨許多挑戰(zhàn)，如：語義到參數(shù)的對齊、高維輸出問題、效率問題等等。

現(xiàn)有方法難以同時解決這些問題。它們要么采用擴(kuò)展性較差的架構(gòu)，只能生成部分 LoRA 參數(shù)；要么依賴非常受限的瓶頸結(jié)構(gòu)（例如重復(fù)使用小型 MLP），這會嚴(yán)重限制模型的表達(dá)能力，使其只能處理較簡單的任務(wù)。下面將介紹我們創(chuàng)新的架構(gòu)，同時解決了這些問題。

如圖所示，我們的超網(wǎng)絡(luò)由兩個部分組成：LLM 和 M2P Transformer。其中，LLM 與推理階段使用的 LLM 相同。通過復(fù)用該 LLM，我們可以利用其豐富的知識，無需增加額外參數(shù)就能大幅提升超網(wǎng)絡(luò)的能力。

具體而言，context 首先被輸入 LLM，并在輸入末尾添加若干 memory embeddings。隨后收集 LLM 各層在這些 memory embeddings 位置對應(yīng)的 hidden states，并將它們拼接得到 memory states，再將其輸入到 M2P Transformer 中。memory states 將文本信息轉(zhuǎn)化為大小恒定的張量。為了使 LLM 更好地生成 memory states，我們在 LLM 上加入可訓(xùn)練的 LoRA，稱為 Meta LoRA。

M2P Transformer 是一個輕量級 Transformer，以 memory states 為輸入，并輸出 LLM 的 LoRA 參數(shù)。在整個框架中，需要訓(xùn)練的參數(shù)僅包括 Meta LoRA、memory embeddings 的初始值以及 M2P Transformer。

上圖進(jìn)一步展示了超網(wǎng)絡(luò)的四個階段。其中，階段一在 LLM 中完成，而階段二、三、四在 M2P Transformer 中完成。

• 階段一：收集 memory states，即提取 LLM 各層在 memory embeddings 位置上的 hidden states。
• 階段二：為 memory states 添加 positional embedding，其中同時包含 token 的位置信息和層數(shù)信息。

• 階段四：將階段三得到的輸出按段劃分并調(diào)整形狀，從而生成對應(yīng)的 LoRA 參數(shù)。

我們的設(shè)計同時解決了上述架構(gòu)設(shè)計的難點。復(fù)用 LLM 解決了語義到參數(shù)的對齊；架構(gòu)的設(shè)計不僅有高維輸出能力，還完全沒有 bottleneck 且有極強(qiáng)的表達(dá)能力，信息可以在不同 token 位置以及深層和淺層間自由流動；網(wǎng)絡(luò)的運算效率也很高。

訓(xùn)練流程與數(shù)據(jù)

類似大模型的訓(xùn)練，我們的訓(xùn)練流程分為「預(yù)訓(xùn)練 - 指令微調(diào)」兩個階段。不同于部分此前 hypernetwork 生成 LoRA 的工作需要許多訓(xùn)練好的 LoRA 作為訓(xùn)練數(shù)據(jù)，我們的一大優(yōu)勢是可以直接利用大模型的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練。

預(yù)訓(xùn)練由兩個任務(wù)組成：重建和補全。如「圖 1」所示，在重建任務(wù)中，我們將一段文本轉(zhuǎn)換為 LoRA，并要求模型根據(jù)該 LoRA 還原原始文本。補全任務(wù)如「圖 2」所示，與重建任務(wù)基本相同，只是輸入文本的末尾會被隨機(jī)截斷。模型不僅需要根據(jù) LoRA 還原文本，還需要補全被截斷的部分。

我們使用了 6B token 規(guī)模的預(yù)訓(xùn)練數(shù)據(jù)。據(jù)我們所知，這是目前數(shù)據(jù)規(guī)模最大的用于訓(xùn)練 hypernetwork 生成 LoRA 的工作。得益于我們架構(gòu)上的創(chuàng)新，模型具有很強(qiáng)的表達(dá)能力，并且隨著數(shù)據(jù)規(guī)模的增加，性能仍在持續(xù)提升，目前尚未觀察到明顯的性能瓶頸。

指令微調(diào)中，我們將文本轉(zhuǎn)化為 LoRA，并訓(xùn)練模型利用 LoRA 基于文本回答問題。

實驗分析

預(yù)訓(xùn)練結(jié)束后，我們評估了 LLM 從生成的 LoRA 中重建文本的能力。結(jié)果顯示，重建任務(wù)的 loss 和 PPL 都非常低，說明 LoRA 幾乎可以完整記住原始文本。同時，補全任務(wù)的 loss 和 PPL 也較低，表明 LoRA 不僅能夠記憶文本，還具備一定的泛化能力，可以完成部分補全任務(wù)。

我們的指令微調(diào)分為兩個階段：第一階段使用每個文本多輪 QA 數(shù)據(jù)，第二階段使用每個文本單輪 QA 數(shù)據(jù)。在測試時，SHINE 將文本轉(zhuǎn)換為 LoRA，并在不輸入文本僅輸入問題的情況下進(jìn)行回答。

我們將 SHINE 與以下 baseline 進(jìn)行比較：

• In-Context：輸入 context、prompt 和問題。
• Naive：只輸入 prompt 和問題，不提供文本。
• SFT：針對每個 context 生成多個對話，并用這些對話臨時訓(xùn)練一個同規(guī)模的 LoRA，然后輸入問題進(jìn)行回答。
• Gen Adapter：此前類似工作的 baseline。已有方法大多只能處理較簡單任務(wù)，而 Generative Adapter 是我們找到的唯一能夠從通用文本生成 LoRA 的方法，故用它作為 baseline。

以上是第一階段的結(jié)果，可以看出 SHINE 逼近了 In-Context 的黃金標(biāo)準(zhǔn)，且效果遠(yuǎn)優(yōu)于 Naive 和 SFT。從時間消耗中可以看出，相比于 SFT 訓(xùn)練需要消耗大量時間，SHINE 僅需一次前向傳播，時間消耗幾乎可以忽略不計。同時在推理時，SHINE 由于已經(jīng)把文本知識內(nèi)化到了參數(shù)里，無需再輸入一遍文本，推理時間相比 In-Context 大量減少。更多細(xì)節(jié)詳見原文，我們還分析了計算開銷（FLOPs）等。大量實驗和分析證明 SHINE 在取得優(yōu)異結(jié)果的同時，極大減少了 SFT 或者 In-Context 的開銷，是非常高效的方法。

以上為第二階段的實驗結(jié)果。我們在 6 個具有代表性的單步推理和多步推理 QA 數(shù)據(jù)集上評估了 F1-score。結(jié)果表明，SHINE 在所有任務(wù)上都取得了出色表現(xiàn)，其性能非常接近，甚至在部分?jǐn)?shù)據(jù)集上超過了黃金標(biāo)準(zhǔn) In-Context 方法，同時明顯優(yōu)于 Naive 以及此前的 baseline 方法。此外，隨著數(shù)據(jù)規(guī)模的增加，SHINE 的性能也持續(xù)提升，進(jìn)一步驗證了該架構(gòu)在規(guī)模化（scaling）方面具有很強(qiáng)的潛力。

我們將 SHINE 與近期受到廣泛關(guān)注的TTT（Test-Time Training）方法進(jìn)行了比較，并選取了 TTT 報告中的效果最好的設(shè)置（n=200）。TTT 通常需要多篇文章作為輸入，并結(jié)合 SFT、RL，甚至在測試時動態(tài)生成數(shù)據(jù)進(jìn)行訓(xùn)練。相比之下，SHINE 無需任何額外訓(xùn)練，只需一次前向傳播即可生成 LoRA。

在計算成本方面，SHINE 生成 LoRA 只需要一次前向傳播，所需的時間和算力相較于 TTT 幾乎可以忽略不計，但 SHINE 卻取得了更好的效果。這一結(jié)果表明，我們的方法在效率和性能上都具有顯著優(yōu)勢，也為持續(xù)學(xué)習(xí)（continual learning）的未來提供了新的思路。

我們還通過不同的 backbone LLM 和多組超參數(shù)實驗評估了 SHINE 的可擴(kuò)展性（scalability）。結(jié)果表明，無論是增大基礎(chǔ)模型規(guī)模，還是提高 LoRA 維度、增加 M2P Transformer 的層數(shù)等，都能夠持續(xù)提升 SHINE 的性能。

這種良好的 scaling 特性為 SHINE 的大規(guī)模應(yīng)用提供了廣闊空間，而這一點是許多以往架構(gòu)（例如反復(fù)使用小型 MLP 的方法）所不具備的。未來若能將 SHINE 進(jìn)一步擴(kuò)展到更大的規(guī)模并投入實際應(yīng)用，預(yù)計將為實際場景帶來顯著的效率提升和便利。

總結(jié)、思考與展望

本文提出了一種新的超網(wǎng)絡(luò)架構(gòu) SHINE。該方法只需一次前向傳播，就可以將任意文本轉(zhuǎn)換為 LoRA。生成的 LoRA 能夠存儲文本中的知識，并引導(dǎo)大語言模型（LLM）基于這些內(nèi)容進(jìn)行多輪對話。實驗結(jié)果表明，SHINE 在幾乎不增加時間和 token 開銷的情況下即可生成高質(zhì)量 LoRA，具有很高的效率。其訓(xùn)練流程類似于大模型的「預(yù)訓(xùn)練 - 指令微調(diào)」范式，能夠通用地處理各種文本。隨著訓(xùn)練數(shù)據(jù)規(guī)模、LLM 規(guī)模以及超網(wǎng)絡(luò)規(guī)模的增加，SHINE 的能力也會持續(xù)提升，展現(xiàn)出良好的規(guī)模化潛力和廣闊的應(yīng)用前景

參數(shù)化記憶是持續(xù)學(xué)習(xí)中的重要概念，即通過將過往經(jīng)驗轉(zhuǎn)化為模型參數(shù)，使模型在參數(shù)更新中不斷積累知識，實現(xiàn)持續(xù)學(xué)習(xí)。這一過程與人類學(xué)習(xí)類似：人在經(jīng)歷事件后，其認(rèn)知也會隨之更新。本文提出的 SHINE 架構(gòu)中，hypernetwork 旨在以較可控的參數(shù)量和計算量，實現(xiàn)對 context 向記憶轉(zhuǎn)化過程的建模，從而實現(xiàn)持續(xù)學(xué)習(xí)。實驗結(jié)果表明，在 SQuAD 任務(wù)上，SHINE 以遠(yuǎn)少于 TTT 的時間取得了顯著更優(yōu)的效果。這種利用神經(jīng)網(wǎng)絡(luò)建模記憶產(chǎn)生過程的思想，為持續(xù)學(xué)習(xí)的發(fā)展提供了新的思路。

我們認(rèn)為，以SHINE為代表的，利用 hypernetwork 為 LLM 生成參數(shù)的方法將在未來變得越來越重要。事實上，在 SHINE 發(fā)布不久后，Sakana AI 便提出了 Doc-to-LoRA，同樣通過 hypernetwork 將文檔轉(zhuǎn)換為 LoRA 參數(shù)，其核心思路與 SHINE 十分相似。盡管其架構(gòu)設(shè)計、訓(xùn)練數(shù)據(jù)規(guī)模和整體流程相比 SHINE 仍有差距，但其引入 ICL 蒸餾的思路頗具啟發(fā)性。無獨有偶，騰訊近期發(fā)布的 HY-WU 也基于類似的 hypernetwork 思想，不過應(yīng)用于圖像生成任務(wù)。

可以預(yù)見，未來會有越來越多的研究探索「通過 hypernetwork 為大模型實時生成參數(shù)」這一范式，并逐步走向?qū)嶋H應(yīng)用。同時，SHINE 仍有許多值得改進(jìn)的方向，例如：更好地處理長文本、引入思維鏈或推理機(jī)制、拓展到更多模態(tài)和任務(wù)場景，以及進(jìn)一步優(yōu)化模型架構(gòu)（當(dāng)前版本雖已有顯著改進(jìn)，但仍未必是最優(yōu)設(shè)計），并在 GPU 適配、訓(xùn)練與推理 pipeline 等方面持續(xù)優(yōu)化。我們期待更多研究者關(guān)注這一方向，與社區(qū)共同探索其潛力，推動相關(guān)研究的發(fā)展。

作者簡介

本文第一作者劉曄瑋是北京大學(xué) MμLab 的本科實習(xí)生，師從人工智能研究院助理教授張牧涵。MμLab 由張牧涵教授創(chuàng)立，其名稱中的 「mμ」（μ）取自統(tǒng)計學(xué)中的均值符號，寓意實驗室致力于從紛繁復(fù)雜的現(xiàn)象中發(fā)現(xiàn)普適規(guī)律。研究方向涵蓋圖神經(jīng)網(wǎng)絡(luò)、大語言模型、擴(kuò)散模型等前沿領(lǐng)域。實驗室隸屬于北京大學(xué)人工智能研究院。