DeepSeek V4：架構(gòu)極度聰明，黃仁勛擔(dān)心的事也許就此開始

作者：王兆洋 + DeepSeek V4 專家模式

V4 終于終于終于終于是來了。

而且它不在假期，不在深夜，而是突然就發(fā)了。模型，開源權(quán)重，技術(shù)報告和官方的文章同時發(fā)給所有人。

官方給出的亮點是“百萬上下文的普惠”。但顯然，這個模型里DeepSeek做的創(chuàng)新工作還是非常的多。

一如既往的，它的技術(shù)報告是今天比讀任何新聞都過癮的存在。

這一次V4最讓人欣喜的是，它的架構(gòu)依然在進(jìn)化，且依然極度聰明。它告訴整個 AI 圈一件事：不用堆參數(shù)，不用買更多卡，僅靠對注意力機(jī)制和訓(xùn)練方式的重新發(fā)明，就能把百萬 token 長文本的門檻踩到地板上。

而且，外界一直在關(guān)注的用“華為芯片”訓(xùn)練的問題，也終于有所揭曉：這次華為昇騰的名字，是和 NVIDIA 并列寫在驗證平臺里的。雖然從技術(shù)報告來看，訓(xùn)練部分依然大概率用的英偉達(dá)芯片，但在與昇騰的適配上，它顯然達(dá)到了前所未有的“原生”水平。這后面的意味，比跑分更有意思。

而在官方文檔里，API價格的地方有一行小字：

受限于高端算力，目前Pro的服務(wù)吞吐十分有限，預(yù)計下半年昇騰950超節(jié)點批量上市后，Pro的價格會大幅下調(diào)。

這同樣讓人浮想聯(lián)翩，且讓人對未來更加期待。

1

27% 和 10%，這兩個數(shù)字定義了什么叫“效率革命”

看看技術(shù)報告里的硬數(shù)據(jù)。基準(zhǔn)是 DeepSeek-V3.2——本身已經(jīng)是一個效率很高的模型。

在 100 萬 token 上下文下（大約能裝三部《三體》），DeepSeek-V4-Pro——1.6 萬億參數(shù)，激活 49B——處理一個新 token 需要的算力只有 V3.2 的 27%，KV 緩存只占 10%。

而小杯 DeepSeek-V4-Flash：284B 參數(shù)，激活僅 13B，算力只要 10%，緩存只要 7%。

一個容易被忽略的細(xì)節(jié)：報告明確標(biāo)注，單 token 推理算力的單位是等效 FP8 FLOPs。這不是拿低精度取巧，而是已經(jīng)換算到和 V3.2 相同的精度標(biāo)準(zhǔn)去比。而且，V4 系列的路由專家權(quán)重還用了 FP4 精度，報告特別指出，現(xiàn)有硬件上 FP4 和 FP8 的峰值算力相同，但未來硬件上 FP4 可以再高出三分之一的效率。換句話說，現(xiàn)在的數(shù)字還不是天花板，等昇騰 950 這類新硬件到位，還有一波可挖的潛力。

長上下文，正在從奢侈品變成日用品。

1

憑什么能做到？兩大壓縮注意力，從根源上做手術(shù)

傳統(tǒng) Transformer 處理長文本的死穴：序列長度加 N 倍，注意力計算量平方級爆炸，KV 緩存線性膨脹。這個瓶頸不破，百萬 token 就只是論文里的數(shù)字。

DeepSeek V4 的辦法不是湊合，而是直接改造注意力機(jī)制本身。總體架構(gòu)上，注意力層采用 CSA 和 HCA 交錯配置，前饋層沿用 DeepSeekMoE，殘差連接用 mHC 加強(qiáng)。核心是兩種新注意力。

CSA——壓縮稀疏注意力

CSA 的數(shù)據(jù)流分三路并行。KV token 的隱藏狀態(tài)同時進(jìn)入三個模塊：一個 Token-Level Compressor 負(fù)責(zé)把每 4 個 token 的 KV 緩存壓縮成一個條目；一個 Lightning Indexer 生成“索引鍵”，用于后續(xù)的匹配打分；同一個索引器還生成“索引分?jǐn)?shù)”。查詢 token 的隱藏狀態(tài)則單獨進(jìn)入 Lightning Indexer，生成查詢側(cè)的索引分?jǐn)?shù)。兩邊一合，送入 Top-k 選擇器，從所有壓縮塊中只挑出最相關(guān)的 512 個（Pro 版是 1024 個）。最后，這些選中的壓縮塊和滑動窗口里保留的 128 個原始 token 拼在一起，送進(jìn)核心的多查詢注意力計算。

索引器的實現(xiàn)細(xì)節(jié)：查詢端先降維到 dc=1024，減少參數(shù)量，再升維到多頭索引查詢，配合 ReLU 激活后與壓縮索引鍵計算分?jǐn)?shù)。這一整套不是簡單的“截斷”，是學(xué)出來的動態(tài)篩選——哪些信息重要、哪些可以忽略，由模型自己在訓(xùn)練中決定。

HCA——重度壓縮注意力

和 CSA 不同，HCA 去掉了整個稀疏選擇鏈路——沒有 Lightning Indexer，沒有 Top-k Selector。數(shù)據(jù)流非常直接：KV token 隱藏狀態(tài)經(jīng)過 Token-Level Compressor 壓縮（壓縮比 m'=128，遠(yuǎn)大于 CSA 的 4），得到的壓縮條目直接與滑動窗口 KV 拼在一起，送進(jìn) MQA。因為每條目覆蓋 128 個 token，條目總量已經(jīng)很少，全量算也不貴，省掉了篩選環(huán)節(jié)。這是為了抓全局結(jié)構(gòu)，避免模型“只見樹木不見森林”。

兩種注意力都額外配了一個滑動窗口，保留最近 128 個 token 的原始 KV 不壓縮，確保局部依賴沒有精度損失。同時還用了注意力沉降技術(shù)——給每個頭一個可學(xué)習(xí)的 sink logit，加到注意力的分母里，讓每個頭可以選擇“什么都不關(guān)注”。

另外，報告透露了一個重要的工程決定：CSA 和 HCA 在 Query 和 KV 上只對最后 64 個維度施加 RoPE 位置編碼，其他維度不編碼。同時 KV 緩存采用混合精度存儲——RoPE 維度用 BF16，其余維度用 FP8——又把緩存砍掉近一半。

而這套注意力架構(gòu)要真正落地，緩存管理也必須重新設(shè)計。V4 的 KV 緩存被拆成兩大塊：一塊是“狀態(tài)緩存”，每個請求分一個固定大小的區(qū)域，存滑動窗口最近 128 個 token 的 KV，以及 CSA/HCA 中還沒攢夠 4 個或 128 個 token、暫時無法壓縮的“尾料”。

另一塊是“經(jīng)典緩存”，存已經(jīng)壓縮好的條目。經(jīng)典緩存里，每個塊覆蓋的原始 token 數(shù)是兩種壓縮比（4 和 128）的最小公倍數(shù)，這樣同一塊里 CSA 和 HCA 的壓縮結(jié)果都能對齊——CSA 產(chǎn) 32 個壓縮條目，HCA 產(chǎn) 1 個——不會因為兩種壓縮率不一致導(dǎo)致碎片化管理。這套緩存布局，是百萬上下文能從實驗室走進(jìn)生產(chǎn)環(huán)境的關(guān)鍵工程基礎(chǔ)設(shè)施。

所以這套方案是壓縮、稀疏化、混合精度、滑動窗口、注意力沉降、精細(xì)緩存管理多管齊下。局部細(xì)節(jié)、中段關(guān)聯(lián)、全局脈絡(luò)，全抓住了，算力開銷斷崖式下降。

也就是說， 傳統(tǒng)注意力機(jī)制要求每個 token 和歷史上所有 token 都做一次交互，歷史多長，活兒就多沉。DeepSeek V4 做的，是把“記憶”本身先整理成層次化的摘要——有些是每一小段的凝練，有些是每一章的概括，再加上眼前幾句話的原文。需要調(diào)用哪一層、哪一段，由模型自己根據(jù)當(dāng)前要解決的問題即場判斷。內(nèi)存里不再存一座山，算力不用翻整座山，百萬上下文的成本自然下來了。

1

Muon 和 mHC：訓(xùn)練上的降本增效

架構(gòu)的聰明不止在推理側(cè)。報告用專門章節(jié)講了兩項訓(xùn)練優(yōu)化。

一個是此前已經(jīng)被放出來過的 Muon 優(yōu)化器。

大多數(shù)優(yōu)化器拿到梯度，一個參數(shù)一個參數(shù)地調(diào)。Muon 不這么干。它把整個梯度矩陣做一步“捋正”運算，讓各行更新方向相互獨立、不打架。效果就是每次更新都踩在最干凈的方向上，同樣步數(shù)學(xué)到更多，變相省算力。為了配合 Muon，分布式策略也改了：稠密參數(shù)限制切分，每個 GPU 最多管五個完整矩陣；MoE 參數(shù)直接拼成大向量等分，不切單個矩陣。梯度通信還做了 BF16 量化，砍掉一半通信量。

另一個是 mHC——流形約束超連接。

深層網(wǎng)絡(luò)的老大難是信號穿幾十層，要么逐層放大到溢出，要么衰減到消失。mHC 的解法是給殘差連接加個數(shù)學(xué)籠子——強(qiáng)制每層的混合矩陣滿足“每行每列和為 1，元素非負(fù)”。這保證了無論怎么傳，幅度不發(fā)散。

實現(xiàn)上，DeepSeek V4 拿到參數(shù)后，做 20 次交替的行歸一化和列歸一化，硬把矩陣?yán)丶s束集合。報告承認(rèn)萬億參數(shù)訓(xùn)練遇到了損失尖峰，但用兩招解決了：“預(yù)判路由”打破路由和主網(wǎng)絡(luò)的同步更新循環(huán)，“SwiGLU 截斷”把激活值鉗在 [-10,10]。

一如既往的，數(shù)學(xué)上很干凈，工程上訓(xùn)練不崩。

1

后訓(xùn)練更絕：分頭訓(xùn)專才，再無損蒸餾

DeepSeek V4 的后訓(xùn)練流程也很有想法，報告用第五章詳述了這套“先分后合”的工藝。

第一步，分別對代碼、數(shù)學(xué)、智能體、指令遵循等方向獨立訓(xùn)練專家模型。每個專家都先做 SFT 打底，再用 GRPO 強(qiáng)化學(xué)習(xí)，配合領(lǐng)域?qū)俚莫剟钅Ｐ汀?b>連獎勵模型本身也是生成式的——讓模型同時學(xué)會“判卷”和“答卷”，減少對人類標(biāo)注的依賴。

報告中很有意思的一點是為不同推理模式設(shè)了三種檔位：Non-think（無思考標(biāo)簽，快速回答）、Think High（顯式思維鏈但受控長度）、Think Max（極限思維模式，給特殊系統(tǒng)提示同時放寬長度懲罰）。三種模式在 RL 訓(xùn)練時分別用不同的上下文窗口和懲罰系數(shù)，讓同一套權(quán)重能根據(jù)場景切推理深度。

第二步，用在策略蒸餾把所有專才的知識融合到一個統(tǒng)一模型里。關(guān)鍵是，他們做的不是 token 級近似，而是全詞表級別的反向 KL 散度——保持教師完整的 logit 分布。這帶來了巨大的計算壓力：詞表 128K，十多個老師，每個都是萬億參數(shù)級別。報告給出的解決路徑是：教師權(quán)重從中心化存儲按需加載；不存完整 logits，只緩最后一層隱藏狀態(tài)，訓(xùn)練時即時重算；按教師索引排序樣本，保證同一時刻 GPU 上只有一個教師頭。這些都是生產(chǎn)環(huán)境才會碰到的硬問題。

效果直接反映在基準(zhǔn)上。Pro Max 在知識基準(zhǔn) SimpleQA 拿下 57.9，比開源最佳高出 20 個點；數(shù)學(xué) Putnam 2025 做到 120/120 滿分；Codeforces 評分在人類選手中排第 23。這三個分屬不同類型的任務(wù)同時沖頂，背后的路線選擇是被驗證了的。

1

“細(xì)粒度通信-計算重疊”和昇騰“原生”

報告里另一個讓所有人都非常關(guān)注的事情，就是：它和華為昇騰到底是什么關(guān)系。

報告 3.1 節(jié)原文是：“我們在 NVIDIA GPU 和華為昇騰 NPU 兩個平臺上驗證了這個細(xì)粒度的專家并行方案。”兩個平臺并列，寫在驗證結(jié)論里。

這套方案的核心是把 MoE 的通信和計算切成更細(xì)的顆粒，按“波”調(diào)度。每個波只含一小部分專家，這個波的通信一完成立刻開始計算，同一時刻，下一個波的通信和上一個波的結(jié)果回傳同步進(jìn)行。報告里的加速比數(shù)據(jù)是：通用推理 1.50–1.73 倍，RL 長尾小批次最高 1.96 倍。

報告還給了硬件設(shè)計公式：每 GBps 通信帶寬對應(yīng) 6.1 TFLOP/s 算力，通信就能被完全隱藏。這意味著 DeepSeek 在用架構(gòu)告訴硬件廠商：不用卷帶寬，按這個比例配算力就行。這比適配某個具體型號高一個維度——是定義需求。昇騰 950 如果按這個配比來設(shè)計，跑 V4 就能把利用率拉到滿。

你可以這樣理解，MoE 每次計算都要在不同 GPU 之間搬運中間結(jié)果，以前是搬完才算，搬運時長全在等。現(xiàn)在是把搬運拆碎，搬一小批就算一小批，算的同時繼續(xù)搬下一批。結(jié)果就是搬運時間被計算時間吃掉了，用戶感覺不到等。這套機(jī)制不挑硬件，只要算力和帶寬的比例到位，NVIDIA 還是昇騰都能跑出高利用率。

報告也提到了用 TileLang 做算子開發(fā)，配合 Z3 SMT 求解器自動驗證和優(yōu)化；同時要求訓(xùn)練推理“批次不變”和“確定性”——同一個 token 無論和誰一批、在什么硬件上，輸出比特級一致。這對昇騰這種新硬件的調(diào)試和部署是基礎(chǔ)設(shè)施級的支持。

雖然開源 MegaMoE 內(nèi)核還是 CUDA 版，主力訓(xùn)練集群大概率仍是 NVIDIA，但架構(gòu)上已經(jīng)把適配昇騰的土壤翻松了、路鋪平了。

加上報告公開說 FP4 在未來硬件上還能再提效三分之一，以及官方文檔里那句“預(yù)計下半年昇騰 950 超節(jié)點批量上市后 Pro 價格大幅下調(diào)”，信號已經(jīng)不能更明確了。

看完V4的報告，感觸它想得夠清楚。

過去兩年，行業(yè)解決長文本問題的主流思路本質(zhì)上是在堆資源。要么堆顯存，把KV緩存硬塞進(jìn)去；要么堆算力，讓芯片更快一點。這條路走到現(xiàn)在，邊際效益已經(jīng)很明顯了。

DeepSeek V4換了一個完全不同的方向——不再追著“怎么能扛住”不放，而是問“這東西真的需要全記住嗎”。CSA和HCA本質(zhì)上是讓模型在記憶的時候就有了層次感，細(xì)顆粒的、粗顆粒的、最近的原文，各存各的。這不再是工程上的妥協(xié)，而是架構(gòu)層面對“什么值得記住”這個問題的重新回答。思路一旦轉(zhuǎn)過來了，效率的提升就是數(shù)量級的。

而這套東西還有一個容易被低估的價值，就是它讓硬件的選擇權(quán)回到了算法這邊。

過去芯片決定模型能跑多長的上下文，帶寬不夠就不行。V4這套壓縮加波浪調(diào)度的方案出來后，算和搬的比例被一個公式定義清楚了。這意味著不是算法去適配硬件，而是算法在告訴硬件應(yīng)該怎么設(shè)計。昇騰被寫進(jìn)驗證平臺、FP4留出三分之一效率冗余，這些細(xì)節(jié)放在一起看，就知道它從一開始就沒打算綁定某一家。這種獨立性，在現(xiàn)在這個時間點，比性能本身更有分量。

V4的神就在這里。

它再次給大家提供了一個更聰明的選擇。

而這正是前不久黃仁勛在播客里有些失去耐心時表達(dá)的擔(dān)心：當(dāng)所有人都在去CUDA，都在擺脫硬件主導(dǎo)的限制，當(dāng)DeepSeek這類開源模型有一天可以原生長在華為等其他芯片生態(tài)里。今天AI格局的根基會迅速動搖。

現(xiàn)在看，他的擔(dān)心不無道理。

「不誘于譽(yù)，不恐于誹，率道而行，端然正己。」這是DeepSeek官方公告里的一句與其他內(nèi)容都不同的話，這句話也幾乎是V4的特質(zhì)，它讓人繼續(xù)對DeepSeek接下來的目標(biāo)充滿期待。

點個“愛心”，再走 吧