突破長序列與低耗部署核心瓶頸！中國科學院發(fā)布類腦大模型瞬悉2.0

新智元報道

編輯：LRST

【新智元導讀】中國科學院團隊推出類腦大模型「瞬悉2.0」，通過優(yōu)化架構與編碼路徑，顯著提升了長序列處理效率與低功耗部署能力。該模型在保持高性能的同時，大幅降低訓練與推理成本，為人工智能輕量化與多模態(tài)應用開辟新方向。

隨著大模型上下文長度的快速擴展，代碼倉庫理解、智能體以及多模態(tài)交互等場景對模型的長序列處理能力提出了更高要求。

傳統(tǒng)Transformer在推理時的計算開銷和顯存占用隨序列長度不斷增長，嚴重制約其實際部署。

近日，中國科學院自動化研究所李國齊、徐波團隊在類腦脈沖大模型「瞬悉1.0」研究基礎上，針對當前大模型長序列處理與低功耗部署等核心瓶頸，推出SpikingBrain2.0-5B（簡稱SpB2.0-5B）模型系列。

該系列模型與瞬悉1.0均以類腦機制為核心，在模型架構、訓練算法和應用廣度上實現(xiàn)全面升級。研究團隊已經(jīng)開源了瞬悉2.0-5B語言模型與瞬悉2.0-VL-5B視覺語言模型。

論文鏈接：https://arxiv.org/abs/2604.22575

代碼鏈接：https://github.com/BICLab/SpikingBrain2.0

此次發(fā)布的瞬悉2.0以超過瞬悉1.0十倍的訓練開銷節(jié)省，續(xù)訓數(shù)據(jù)量從瞬悉1.0的150B降低至瞬悉1.0的14B：

即僅需32張A100顯卡，9天內即可完成對當前主流Transformer架構大模型（如Qwen3系列模型）的持續(xù)預訓練，通用知識（如MMLU、ARC-C、BBH等任務）以及SFT后推理能力（如數(shù)學推理GSM8K、MATH，代碼HumanEval、MBPP等任務）的表現(xiàn)可與強基線Qwen3比肩且實現(xiàn)比瞬悉1.0更優(yōu)綜合性能；

并在4M序列長度下達到主流Transformer模型Qwen3的10.13倍首Token生成加速，F(xiàn)P8量化路徑下4M長度下相比Qwen3 BF16基線提速達15.13倍，整數(shù)-脈沖化編碼路徑下，精度損失僅為0.69%，且脈沖稀疏度高達64.3%

模擬結果顯示，該方案在測試場景下相比INT8矩陣乘法基線，有望使得面向類腦大模型的神經(jīng)形態(tài)芯片面積減小70.6%，在250/500MHz工作頻率下功耗降低48.1%/46.5%。

瞬悉2.0在長序列處理效率、訓練開銷、綜合Benchmark性能、跨硬件平臺適配性及應用場景拓展等方面顯著提升，為輕量級、多模態(tài)高效脈沖基礎模型的研發(fā)提供了可行路徑，為新一代人工智能創(chuàng)新發(fā)展注入新動力。

研究背景

當前，大模型發(fā)展正從「參數(shù)和數(shù)據(jù)規(guī)模驅動」逐步延展至「上下文能力驅動」。

在智能體、代碼理解、長文檔分析等應用中，模型需要處理數(shù)十萬甚至百萬級token。

但傳統(tǒng)Transformer在長序列處理及資源受限場景下的部署仍面臨諸多痛點。因此，如何以極低成本構建基礎模型，打破Transformer在不同序列長度、不同硬件平臺下的能耗瓶頸，成為大模型領域的關鍵探索方向。

針對該問題，團隊此前發(fā)布的瞬悉1.0已率先嘗試將類腦機制與高效大模型相結合，為低耗大模型研發(fā)提供了初步探索。此次發(fā)布的瞬悉2.0通過引入更豐富的類腦機制——包括稀疏化記憶建模、更精細化的脈沖激活值編碼等，在瞬悉1.0的基礎上實現(xiàn)全方位升級。

架構設計

短序列場景中，Transformer的計算瓶頸源于大量前饋矩陣乘法；長序列場景中，計算瓶頸則向注意力模塊轉移，導致推理效率大幅下降。瞬悉2.0因此對注意力和前饋矩陣乘操作分別做出針對性設計，期望緩解Transformer的能耗問題。

（1）雙空間混合稀疏注意力

瞬悉2.0提出雙空間稀疏注意力（Dual-Space Sparse Attention, DSSA），用于在層間混合稀疏Softmax注意力MoBA與稀疏線性注意力Sparse State Expansion （SSE）。其中，MoBA對完整的KV cache進行塊級稀疏計算，SSE則對壓縮式狀態(tài)表征進行稀疏計算。這一設計對應類腦化的稀疏記憶機制，實現(xiàn)了優(yōu)良的長序列性能-效率權衡。

瞬悉2.0架構概覽

（2）雙路徑激活值編碼策略

瞬悉2.0采用了包括FP8和INT8-Spiking兩種對偶激活值編碼路徑：

1. FP8編碼路徑：利用低比特Tensor Core加速矩陣乘運算，該路徑面向工業(yè)GPU部署（如NVIDIA Hopper GPU）；

2. INT8-Spiking編碼路徑：把激活值轉為脈沖序列，可將密集矩陣乘法替換為事件驅動的整數(shù)累加，大幅降低部署功耗，該路徑面向異步神經(jīng)形態(tài)芯片部署。

瞬悉2.0對偶編碼路徑

轉換訓練流程

瞬悉2.0采用比瞬悉1.0更高效、模態(tài)更廣的架構轉換流程（Transformer-to-Hybrid Conversion），依托極少量開源數(shù)據(jù)和計算資源，分別為語言模型與多模態(tài)模型構建兩條獨立的續(xù)訓轉換路徑，大幅降低開發(fā)成本。

（1）LLM轉換路徑：包括短上下文蒸餾、三階段長上下文擴展（最高至512k）以及兩階段的通用加推理SFT，同時開展了在策略蒸餾探索。

（2）VLM轉換路徑：包括知識蒸餾與指令微調。本文還同時分享了實踐過程中的關鍵Takeaways，為社區(qū)研究提供參考。

瞬悉2.0轉換訓練Pipeline

模型性能

1. 長序列處理效率顯著提升

（1）在Huggingface序列并行框架下，瞬悉2.0在4M長度相比Qwen3實現(xiàn)10.13倍的首token生成時延（TTFT）加速（2）在vLLM張量并行框架下，512k長度端到端生成延遲降低4.3倍，128k長度下總吞吐提升1.57倍、請求并發(fā)數(shù)提升3.17倍；

（3）依托vLLM框架，8卡A100即可支持長達10M序列的推理，而Qwen3基線在4M長度時已超出顯存限制，展現(xiàn)出突出的長序列處理優(yōu)勢。

2. 訓練成本大幅降低

瞬悉2.0-5B語言與多模態(tài)模型的總轉換開銷低至7k A100卡時以下，僅需32張A100，9天內即可完成對Qwen3-4B和Qwen3-VL-4B的全部轉換訓練，相較于SpB1.0，訓練成本減少10倍以上（LLM CPT數(shù)據(jù)量從150B降至14B），實現(xiàn)了高效低成本的模型開發(fā)。

3. 模型性能保持競爭力

（1）瞬悉2.0語言模型在通用知識（如MMLU、ARC-C、BBH等任務）以及SFT后推理能力（如數(shù)學推理GSM8K、MATH，代碼HumanEval、MBPP等任務）的表現(xiàn)可與強基線Qwen3比肩且實現(xiàn)比瞬悉1.0更優(yōu)綜合性能。

（2）瞬悉2.0-VL模型性能實現(xiàn)對Qwen3-VL的有效恢復，可與強基線Qwen2.5-VL比肩（如圖表推理AI2D、通用視覺推理MMStar等任務），在瞬悉1.0的基礎上實現(xiàn)了多模態(tài)能力的突破。

4. 跨硬件平臺適配性突出

瞬悉2.0可靈活適配不同硬件平臺：

（1）采用FP8路徑時，精度損失僅為0.24%；在H100上實測顯示，256k序列長度下TTFT提速相比瞬悉2.0 BF16版本超2.5倍，同時在4M長度下相比Qwen3 BF16基線提速達15.13倍；

（2）采用INT8-Spiking路徑時，精度損失僅為0.69%，且脈沖稀疏度高達64.3%；后仿模擬結果顯示，該方案在測試場景下相比INT8矩陣乘法基線，面積減小70.6%，在250/500MHz工作頻率下，功耗降低48.1%/46.5%，有望破解端側部署的功耗瓶頸。

瞬悉2.0系列模型的發(fā)布，為輕量級、多模態(tài)高效脈沖基礎模型的研發(fā)提供了可行路徑，進一步驗證了類腦機制與高效模型架構結合的廣闊前景。

同時，該模型為端側、資源受限場景的大模型部署提供了高性價比解決方案，也為低功耗神經(jīng)形態(tài)計算的后續(xù)研發(fā)提供重要參考。研究團隊將繼續(xù)秉承類腦大模型技術「概念一致、迭代升級」的理念，持續(xù)研發(fā)可比肩主流大模型的低功耗神經(jīng)形態(tài)計算。

參考資料：

https://arxiv.org/abs/2604.22575