面壁智能SALA架構，正在拆掉Transformer的那堵墻

這兩年，大模型圈子里真正卡住行業的點，已經從參數規模，轉向了推理效率。

模型越做越大，算力和顯存的壓力就越像一堵墻，橫在落地面前。

尤其當應用從簡單對話進入長文檔理解、代碼倉級分析、長周期智能體任務之后，傳統架構的瓶頸，越來越暴露了出來。

很多團隊都在優化訓練技巧、壓縮權重、做蒸餾，卻很少有人直接動底層注意力結構，因為那意味著要重新審視整個Transformer范式。

面壁智能，這次公開的 Linear-Sparse 混合注意力架構 SALA 和對應模型 MiniCPM-SALA，在核心結構層的技術路線上，給了不一樣的答案。

新模型能力提升現在不新鮮了，但如果是一次架構路線層面的重新定調呢？

馬上過年了，比起很多公司紅包的熱鬧和營銷的手段，我覺得，面壁智能這樣扎扎實實的技術推進，更值得被看見。

01. 長上下文需求爆發，正在倒逼注意力機制進化

大模型最早的商業場景集中在問答、寫作、摘要，這類任務上下文長度通常在幾千到幾萬 token 區間，傳統全注意力機制還能承受。

隨著應用形態變化，模型開始承擔代碼倉分析、合同審查、科研資料歸納、長鏈路 agent 任務規劃等工作……

輸入規模直接跳到幾十萬甚至百萬 token 級別，這類需求在企業端和端側同時增長。

企業側希望模型一次性讀取整個知識庫或代碼庫并保持一致理解，端側設備則存儲著大量用戶私有數據。

比如說，聊天記錄、歷史行為、位置軌跡，這些信息只有本地處理才符合隱私要求，所以端側長上下文能力逐漸變成剛需指標。

傳統 Transformer 的問題在這種場景下會被無限放大。

全注意力機制計算復雜度，隨序列長度平方增長，序列翻十倍，算力需求接近百倍級上升，同時 KV Cache 也同步膨脹。

推理階段顯存占用持續上漲，哪怕模型參數規模不變，只要上下文變長就會直接炸顯存，這就是很多工程團隊口中的 KV Cache 困局。

放之前，這幾個困局，就像一個「不可能三角」。

行業已經嘗試過多條路徑解決這個問題，例如線性注意力、狀態空間模型、稀疏注意力結構，各自都在某些維度表現出色，卻始終存在明顯短板。

線性注意力與 SSM 類方法將復雜度壓到線性級別，速度和資源消耗表現很理想，不過這種結構需要把歷史信息壓縮進固定容量狀態中，序列越長，早期信息權重就越低，在復雜推理或長鏈條邏輯場景中容易出現記憶衰減現象。

稀疏注意力走的是另一條路線。

通過只計算關鍵位置注意力來降低算力需求，推理速度提升明顯，不過歷史 KV 必須完整保存，否則無法回溯長距離依賴。

這導致顯存仍隨序列線性增長，存儲壓力沒有根本解決。

行業一直在尋找一種結構，既保留線性結構的效率，又具備稀疏結構的精準感知能力。

MiniCPM-SALA采用的Transformer-to-Hybrid低成本構建方法（HALO）

02. SALA的混合注意力架構

SALA 的核心設計思路很直接，將兩類注意力優勢拼接進同一架構體系，讓不同模塊負責不同任務。

整體結構中大約 75% 使用 Lightning Attention 線性模塊，負責局部關鍵語義捕捉；

剩余 25% 使用 InfLLM v2 稀疏注意力模塊，負責全局信息建模。

這種比例經過多輪實驗調優后確定，目標是找到效率與精度之間的穩定平衡點。

線性部分保證推理復雜度穩定增長，稀疏部分負責高價值信息精細建模，兩者共同構成完整上下文理解路徑。

這種設計真正解決的問題在于長序列任務的結構性矛盾。

純線性模型在序列極長時容易丟失細節，純稀疏模型在序列增長時顯存壓力持續擴大，SALA 把計算密度和信息密度拆分處理，讓計算資源集中在重要區域，同時保證全局狀態可追蹤。

換句話說，模型在處理百萬 token 輸入時不會同時對所有 token 做同等強度計算，而是自動分配算力權重，這使得資源利用效率明顯提高。

另一個關鍵創新來自訓練方法 HALO。

傳統混合架構如果從零訓練，成本會高得驚人，因為新結構需要重新學習全部語言知識與推理能力。

HALO 的策略是在已有全注意力模型基礎上進行結構轉換，再進行持續訓練，這種方式繼承原模型能力，同時讓新架構逐漸適應新的注意力模式。

工程層面看，這種路線可以把算力投入降低到可接受范圍，使混合注意力模型具備規模化訓練可行性，對整個行業具有現實參考價值。

如果把當前主流架構放在同一坐標系中觀察，可以看到一條明顯演化路徑：

全注意力模型提供穩定智能水平，線性模型提供極致效率，稀疏模型提供長序列能力，SALA 則嘗試把三條路線合并成統一解。

像 Kimi KDA、DeepSeek NSA、InfLLM v2 都在不同方向推進長上下文能力，SALA 的出現讓行業第一次看到統一結構實現多優勢疊加的可能性。

相關論文參考：

• 稀疏-線性混合注意力：https://arxiv.org/pdf/2601.22156

• InfLLM v2：https://arxiv.org/pdf/2509.24663

任何架構創新最終都要回到模型表現。

MiniCPM-SALA 作為首個基于該結構完成大規模訓練的文本模型，在多個維度給出了比較清晰的數據結果。

模型參數規模為 9B，體量處于輕量級區間，卻能夠支持百萬 token 上下文推理。

關鍵在于 KV Cache 控制在 6GB 以下，這意味著普通消費級 GPU 也能完成推理任務。對于開發者來說，這直接降低部署門檻，使長上下文模型從數據中心專屬能力進入個人硬件可運行階段。

在長文本評測中，該模型展現出穩定優勢，尤其在跨章節信息整合、長鏈推理、代碼結構理解等任務中表現突出。

更值得關注的是，它在知識問答、數學推理、代碼生成等常規能力測試中仍保持與同規模全注意力模型相近水平，沒有出現性能折損現象，這說明混合結構并沒有犧牲通用智能能力。

模型同時引入 HyPE 混合位置編碼機制，使短文本和長文本處理能力保持一致，不會出現短輸入性能下降的問題。

推理速度方面的數據，對工程落地很有價值。

在云端推理芯片測試中，當上下文長度達到 256K token 時，MiniCPM-SALA 推理速度達到同規模全注意力模型約 3.5 倍，而且測試沒有使用投機采樣或額外加速技巧，結果完全來自架構本身。

對于企業部署來說，這類性能提升意味著成本直接下降，因為單位時間可處理請求數明顯增加。

端側的表現，同樣不錯。

當前很多模型在 8B 規模下運行 256K 上下文就會觸及顯存極限，而 MiniCPM-SALA 在消費級 GPU 上完成百萬上下文推理，這為手機、車載系統、機器人等終端設備運行通用模型打開空間。

端側模型一旦具備長上下文能力，個人助理類產品就能持續讀取用戶歷史數據并維持長期記憶，體驗會發生質變，這也是行業普遍認為下一階段智能終端競爭的關鍵指標。

04. 架構路線之爭，正在成為大模型競爭核心變量

大模型行業早期競爭集中在參數規模和訓練數據量，隨后轉向推理成本和部署效率，現在焦點逐漸落在底層結構設計上。

誰能在架構層找到更優解，誰就能在同等算力條件下跑出更高性能。

SALA 的出現，也讓我看到一種新的可能性：未來模型競爭不只看誰的模型更大，還要看誰的結構更合理。

我在想，這種變化對行業格局，也許會產生多米諾骨牌一樣的連鎖反應。

有硬件適配邏輯的改變：

當模型顯存需求下降，部署環境選擇范圍會擴大，GPU 不再是唯一選擇，邊緣計算設備也能承擔更多任務。

進一步，也會帶來應用生態會被重新洗牌：

長上下文能力成熟后，大量原本依賴數據庫或檢索系統的應用可能直接由模型完成，因為模型可以一次讀取全部資料并生成結果。

以及說，訓練策略會發生變化，HALO 這類遷移訓練方法降低新架構實驗成本，使更多團隊具備嘗試底層創新的能力。

從技術趨勢觀察，注意力機制很可能進入混合化階段。

單一路線難以同時滿足效率、精度、可擴展性三項指標，多結構協同會成為主流設計方向。

未來模型可能根據任務動態切換注意力模式，復雜推理使用高精度模塊，大規模掃描使用高效率模塊，這類自適應結構將成為研究重點。

最后有個好消息：看到面壁、OpenBMB、SGLang 與 NVIDIA，聯合發起了一個比賽。

比賽名字就叫《SOAR 2026 稀疏算子加速大獎賽》，已經正式開放報名了。

賽事圍繞混合注意力架構推理性能優化展開，重點方向包括算子融合、編譯優化與硬件協同調度，目標是在消費級 GPU 上進一步壓縮資源占用并提升百萬 token 推理速度。

而且還是面向全球開發者開放，官網報名入口：

https://soar.openbmb.cn/

對于關注推理效率、系統優化和模型架構的工程團隊來說，這是一次直接參與下一代推理基線定義過程的機會。

特別懸賞獎的獎金，甚至高達28萬！

感興趣的朋友，真的可以試一試～

參考閱讀：

GitHub 鏈接：

https://github.com/openbmb/minicpm

HuggingFace 鏈接：

https://huggingface.co/openbmb/MiniCPM-SALA

Model Scope 鏈接：

https://www.modelscope.cn/models/OpenBMB/MiniCPM-SALA

GitCode 鏈接：

https://ai.gitcode.com/OpenBMB/MiniCPM-SALA

MiniCPM-SALA 技術報告：

https://github.com/OpenBMB/MiniCPM/blob/main/docs/MiniCPM_SALA.pdf