DeepSeek V4是怎么訓(xùn)練出來的？58頁論文深入解讀

勸退提醒：

1、這是一篇很長很長的文章，會深入到DeepSeek V4論文中涉及到的各種細(xì)節(jié)，如果你不感興趣，只是想知道模型跑分的話，沒必要讀

2、我也沒那么好的技術(shù)能力，這是花了2000萬Opus4.7 tokens讀完內(nèi)容，并做了73頁PPT之后形成的理解

3、我多少對DeepSeek有些濾鏡，我很喜歡這個公司的做派和風(fēng)格，所以表達(dá)未必客觀中立

如果這種情況下，你還愿意一起往下探的話，那我們開始吧！

在我看來，DeepSeek不是一個沖破天花板的SOTA模型。它真正的價值是把百萬上下文、Agent原生能力、能接受的價格這三件事第一次綁在了一起。

而且這次從發(fā)布時間和節(jié)奏來說也挺有趣的，其實本來按照大家的預(yù)期，V4應(yīng)當(dāng)在春節(jié)前后發(fā)的，實際看來也差不多是那會兒完工。他們論文中對標(biāo)的也是2月那會的Claude Opus 4.6和GPT-5.4。但它實際發(fā)布卡到了現(xiàn)在，中間又出了Opus 4.7和GPT-5.5。等它正式亮相，對標(biāo)對象已經(jīng)換人了。

DeepSeek自己解釋說是為了更好地適配國產(chǎn)芯片。害，行吧，也希望國產(chǎn)芯片好好適配下DeepSeek。

其實今年1月份時，我已經(jīng)連著寫了三篇DeepSeek論文解讀：mHC、Engram、OCR 2。當(dāng)時我的判斷是這些技術(shù)大概率都會進(jìn)V4。現(xiàn)在V4論文打開，mHC進(jìn)來了，其他一些思路也能看出端倪。這篇文章我會順著這條線講，讓之前讀過那幾篇的朋友能看到完整的故事線。

再說結(jié)論

我們需要重復(fù)下開頭的核心結(jié)論，以這個視角的話，我們會對DeepSeek V4會有個更合理的預(yù)期，那就是

這不是一個沖破AGI天花板的世界最佳模型，但屬于是一個讓普通開發(fā)者第一次能夠放心地用上100萬上下文Agent模型的發(fā)布。

這兩者的差別非常大。

前者是沖頂峰的敘事，需要在各個benchmark上全面擊敗Opus 4.7、GPT-5.5、Gemini 3.1 Pro。V4還做不到。

后者是抬地板的敘事。100萬token上下文這件事，之前不是沒有模型能做到，但要么極貴（Opus、DeepSeek那檔），要么效果會顯著衰減（很多國產(chǎn)模型128K以上就明顯掉分）。V4做的事情是把「100萬長上下文」+「Agent多步調(diào)用能力」+「能接受的價格」這三件事第一次組合到一起。

對閉源旗艦來說，V4不構(gòu)成威脅。對一個想在產(chǎn)品里塞入長上下文的獨立開發(fā)者來說，V4意味著幾乎所有的上下文節(jié)省工作都可以先不做了（對的，RAG和很多別的AI敘事一樣，只要你不學(xué)，等著等著你就可以不必學(xué)了）

業(yè)內(nèi)有個說法：閉源模型卷能力天花板，開源模型卷地板，地板抬高的速度決定AI應(yīng)用爆發(fā)的規(guī)模。V4把這個地板往上抬了抬。

V4-Pro 和 V4-Flash：兩個定位不一樣的模型

這次DeepSeek發(fā)的是兩個模型。

V4-Pro的總參數(shù)量比V3的671B翻了2.4倍。激活參數(shù)從37B漲到49B，只多了三成左右。走的是「稀疏度再提高」的路線。

這里要稍微解釋一下MoE模型的工作方式。V4-Pro一共有300多個專家（routed experts）加上1個共享專家。每次處理一個token的時候，它不是把所有專家都調(diào)動起來，而是只激活其中6個+共享專家，一共7個專家參與回答。這有點像一個有384位專家的公司，每個決策只召集7個人開會，不搞全員表決。激活的參數(shù)量少，推理速度就快，成本也能壓下來。

V4-Pro的定位是「開源陣營里能跟閉源旗艦掰手腕的那個」。但DeepSeek自己在論文里也誠實地說了一件事：因為現(xiàn)在高端算力受限，Pro的服務(wù)吞吐很有限，所以Pro版本的API價格目前不算便宜，預(yù)計下半年才能降下來。

V4-Flash是真正符合DeepSeek一貫風(fēng)格的那個模型。它的參數(shù)規(guī)模是V4-Pro的約六分之一，但在很多基礎(chǔ)能力上已經(jīng)反超了V3.2。這意味著架構(gòu)改進(jìn)和數(shù)據(jù)質(zhì)量的收益，足夠抵消參數(shù)規(guī)模的差距。Flash的價格相比同類快速模型，大概是他們的1/7到1/18。

如果你是獨立開發(fā)者，我的建議很明確：AI編程、寫作、復(fù)雜任務(wù)、關(guān)鍵決策場景用Opus 4.7這類；批量任務(wù)、Agent后臺、數(shù)據(jù)處理用V4-Flash。

架構(gòu)動了哪些刀

V4沒有推倒V3重來。MoE框架沿用的還是DeepSeekMoE，MTP模塊沒動，訓(xùn)練細(xì)節(jié)也大多延續(xù)V3。真正大改的地方只有三處：

• 殘差連接升級成mHC

• 注意力拆成CSA+HCA的混合架構(gòu)

• 優(yōu)化器從AdamW換成Muon

這三處改動各自解決一個具體痛點。殘差連接在堆深時數(shù)值不穩(wěn)定，限制了把模型做大；傳統(tǒng)注意力在百萬token長上下文下KV cache爆炸，算力根本扛不住；AdamW在超大規(guī)模MoE訓(xùn)練上收斂慢、偏科嚴(yán)重。

V4相當(dāng)于把V3的三個瓶頸逐一拆掉。

mHC：給殘差連接加一道只準(zhǔn)收縮不準(zhǔn)放大的護欄

mHC我在1月那篇mHC論文解讀里已經(jīng)完整講過了，這里長話短說。

殘差連接是深度學(xué)習(xí)用了整整十年的基礎(chǔ)設(shè)計。2015年何愷明的ResNet開始，到現(xiàn)在的每一個大模型都離不開它。它做的事情，用一句話說就是給信號開了一條「快車道」：不管中間那些層學(xué)到了什么，原始信號都能直接順著這條高速公路原封不動傳到后面。這就是所謂的「恒等映射」。

這個設(shè)計本身沒問題。問題出在對它的第一次升級上。2024年底，字節(jié)Seed團隊發(fā)了一篇叫Hyper-Connections（HC）的論文，后來中了ICLR 2025。HC把單通道的殘差流擴展成多通道，讓模型自己學(xué)習(xí)最優(yōu)的連接方式。DeepSeek一開始也是沿著這條路線往下走的，但踩到了HC的一個致命缺陷：訓(xùn)練不穩(wěn)定。

不穩(wěn)定到什么程度？DeepSeek在1月那篇mHC論文里給過一個很震撼的數(shù)字：在27B模型上，HC的信號放大倍數(shù)峰值達(dá)到3000倍。也就是說，信號在網(wǎng)絡(luò)里傳著傳著，被放大了3000倍，梯度也隨之被放大3000倍。訓(xùn)練到某一步突然崩掉是家常便飯。

mHC解決這個問題的思路，我覺得最形象的說法還是1月文章里那句：給殘差連接加了一道「只準(zhǔn)收縮不準(zhǔn)放大」的數(shù)學(xué)護欄。

用一個畫面講清楚。信號在網(wǎng)絡(luò)里一層層往下傳，可以想象成把一杯水倒進(jìn)下一個杯子。HC的做法是把一根水管變成四根，每根流量讓模型自己學(xué)。靈活是靈活了，但沒人管總量。倒著倒著水越倒越多，到第60層的時候已經(jīng)是原來的3000倍，杯子直接爆了。

mHC的做法是強制每一層倒水都守恒。不管四根水管怎么分配、怎么混合，進(jìn)多少水就出多少水，一滴不多一滴不少。

這個約束的數(shù)學(xué)工具叫「雙隨機矩陣」，名字嚇人，本質(zhì)就是一張分配表：每一行加起來等于1，每一列加起來也等于1。這兩個條件加起來，天然保證了水不會憑空變多。更舒服的是，兩張雙隨機矩陣乘在一起還是雙隨機矩陣，所以不管你堆多少層，守恒這件事都不會失效。

代價是模型不能自由學(xué)這張表，每一層都要用一個叫Sinkhorn-Knopp的算法迭代20次，把學(xué)出來的東西壓回守恒的形狀。相比訓(xùn)練崩掉的損失，這個代價不算什么。

mHC帶來的直接結(jié)果是：V4能把模型從V3的671B推到1.6T，參數(shù)量2.4倍增長，訓(xùn)練穩(wěn)定性反而比V3更好。

這是理解V4能「做大」的第一把鑰匙。

CSA + HCA：讀一本800頁的書，先翻目錄再精讀

這是整篇論文我覺得工程含量最高的地方，也是V4百萬上下文能落地的核心。

先說清楚一件事：為什么100萬上下文這么難做？

標(biāo)準(zhǔn)的注意力機制，每個新來的token都要和前面所有token算一次內(nèi)積。如果把4K上下文換成100萬上下文，需要算的內(nèi)積數(shù)量是4000倍，顯存占用也是4000倍。粗略估算下來，100萬上下文的單次推理成本比4K高約6萬倍。這堵「算力墻」和「顯存墻」加起來，是大多數(shù)模型在128K-200K就停住的原因。

V4的解法是把注意力機制拆成兩種，在Transformer不同的層里交替使用。

CSA（Compressed Sparse Attention）走精細(xì)路線。它把每m個token壓縮成1個塊，然后用一個叫Lightning Indexer的小模塊算每個query和每個壓縮塊的相關(guān)性分?jǐn)?shù)，只挑分?jǐn)?shù)最高的top-k個塊去做真正的注意力計算。

HCA（Heavily Compressed Attention）走粗略路線。它的壓縮率m'遠(yuǎn)比m大（通常是幾十倍），但不做稀疏篩選，query會dense地把所有壓縮塊都掃一遍。犧牲細(xì)粒度，換極致的KV cache壓縮。

我覺得這兩種注意力最好的比喻就是讀一本800頁的書。

你不會逐字讀完。大概率是這樣：先翻目錄，定位到有用的那幾章；翻到那一章后掃一下小標(biāo)題，定位到第幾頁；最后才精讀那幾頁。這是一個先粗后細(xì)的過程。

V4把這個動作拆成了兩種獨立的機制，交替安排在不同的層里：

• CSA做的是「掃小標(biāo)題定位」：先把每64個token揉成一塊，給每塊打分，挑出最相關(guān)的幾塊去精讀

• HCA做的是「翻目錄看大意」：直接把1024個token壓成一塊，一本800頁的書可能只剩幾十塊大摘要，每個新來的token都把這幾十塊全掃一遍

兩者加起來，V4在100萬上下文下的單次推理成本，只有V3.2的約1/4。KV cache占用只有傳統(tǒng)BF16 GQA8 baseline的約2%。

把50份壓成1份，這是百萬上下文真正能跑起來的數(shù)學(xué)原因。

論文里還有一堆工程細(xì)節(jié)，比如兩種注意力都用Shared KV MQA進(jìn)一步省cache，都加了sliding window分支保證局部細(xì)節(jié)不丟，都用了attention sink讓query可以「棄權(quán)」。這些工程活不好解釋，但每一個都在扣效率。

這是理解V4能「讀長」的第二把鑰匙。

Muon：別每個旋鈕單獨調(diào)，整組一起掰

Muon是V4用來替代AdamW的優(yōu)化器。改動的技術(shù)深度很足，但可以用畫面感拆開說。

先說優(yōu)化器是干嘛的。模型訓(xùn)練就一句話：猜一個答案，對照正確答案，根據(jù)錯的方向調(diào)整自己。優(yōu)化器決定的就是「具體怎么調(diào)」。

AdamW是過去十年行業(yè)默認(rèn)的優(yōu)化器。它的邏輯是：模型內(nèi)部有幾十億個旋鈕要調(diào)，每個旋鈕單獨看它過去抖得厲害不厲害，抖得厲害就調(diào)慢一點，抖得少就調(diào)猛一點。聽起來挺合理。

問題是這些旋鈕不獨立。它們是同一臺機器上的幾十億個零件，彼此聯(lián)動。AdamW單獨看每個旋鈕的歷史做判斷，結(jié)果就是模型在參數(shù)空間里走出來的軌跡是個極度扁的橢圓：少數(shù)幾個「熱門方向」步子邁得特別大，推到病態(tài)的程度；其他方向幾乎沒動過，等于沒學(xué)。

說得更直白點，AdamW訓(xùn)出來的模型會偏科。

Muon反過來想。它不看單個旋鈕，而是看這一整組旋鈕合起來在往哪個方向走，然后把這個方向的更新強行「拉平」：原本邁得特別大的方向壓一壓，幾乎沒動的方向拉一拉，讓每個方向都走一樣遠(yuǎn)。數(shù)學(xué)上這個操作叫「正交化」，畫面感上就是把原本歪扁的橢圓硬掰成一個正圓。

好處是什么？原本被AdamW淹沒的冷門方向，現(xiàn)在能和熱門方向拿一樣的步長。模型探索范圍更廣，收斂更穩(wěn)。

Muon天生有個成本問題：每一步都要把橢圓掰成正圓，直接算要做矩陣分解，太貴。V4用了一個近似辦法（Newton-Schulz迭代），10步搞定一次掰正，前8步用激進(jìn)系數(shù)快速逼近，后2步切換溫和系數(shù)做精修。工程上剛好不貴。

一個細(xì)節(jié)：V4沒把所有參數(shù)都交給Muon。embedding、prediction head、RMSNorm這些本來就不是矩陣、沒有「方向」概念的參數(shù)，還是AdamW管。Muon和AdamW各管一攤。

這是理解V4能「訓(xùn)深」的第三把鑰匙。

1.6T怎么訓(xùn)穩(wěn)的：兩個他們自己也不懂的trick

把模型從671B推到1.6T，光有mHC還不夠。訓(xùn)練1.6T的MoE時，V4團隊遇到了loss spike（訓(xùn)練損失突然飆升，前幾輪學(xué)的東西都被噪聲污染），簡單的回滾保存點也救不回來，剛回滾完沒多久又崩。

他們最終用了兩個辦法把訓(xùn)練救回來。

一個叫Anticipatory Routing（預(yù)判式路由）。MoE模型里有個「路由器」負(fù)責(zé)每一步挑哪幾個專家上場，這個路由器本身也是學(xué)出來的。訓(xùn)練崩潰的惡性循環(huán)是這樣：某一步某個專家輸出了一個異常大的數(shù)，這個異常讓路由器誤以為「這個專家真強」，下一步派給它更多任務(wù)，它輸出更離譜的數(shù)，路由器越挑越偏，訓(xùn)練崩了。

解法特別巧：讓路由器用「昨天的腦子」做「今天的決定」。主干網(wǎng)絡(luò)的更新和路由器解耦，主干用當(dāng)前參數(shù)算，但路由器挑專家時查的是前幾步的歷史參數(shù)。今天網(wǎng)絡(luò)再怎么抽風(fēng)，路由器用的是沒被污染的舊腦子，惡性循環(huán)就斷了。

另一個叫SwiGLU Clamping。SwiGLU是模型里的激活函數(shù)，可以理解為每個神經(jīng)元的「水龍頭」。正常情況水龍頭開多大都行，但在1.6T這個規(guī)模上，某些神經(jīng)元會突然爆出極大的數(shù)值，把整個訓(xùn)練帶崩。DeepSeek的做法簡單粗暴：給SwiGLU內(nèi)部的幾個關(guān)鍵數(shù)值強行加一個上下限（-10到10之間），哪怕某個神經(jīng)元想輸出一萬，也只能給你10。

這兩個trick為什么有效？DeepSeek自己在論文里說，他們也不完全清楚。原話是「the underlying principles of these mechanisms remain insufficiently understood」。

他們只知道：用了，有效，就這么用。至于為什么，希望社區(qū)一起探索。

我覺得這個細(xì)節(jié)值得單獨拎出來講。

過去我們看到的很多技術(shù)報告，總是在事后給方法找一套漂亮的理論解釋，好像研究者從一開始就想得很清楚。但實際工程里，很多時候是先做出來再理解。DeepSeek不藏這個，白紙黑字寫進(jìn)論文里。

這種坦誠在國內(nèi)團隊里并不多見。今年1月我寫R1論文更新那篇時說過，DeepSeek的「Open」不是做到行業(yè)平均水平就夠了，而是包括那些失敗的嘗試、沒搞懂的trick、踩過的坑都一并開出來。

V4這篇報告延續(xù)了這個風(fēng)格。

訓(xùn)練數(shù)據(jù)：32T tokens，反AI生成、加Agent、加多語言

V4的預(yù)訓(xùn)練數(shù)據(jù)比V3更大（33T vs V3的14.8T），也更講究。幾個關(guān)鍵動作：

反模型坍縮。互聯(lián)網(wǎng)語料里現(xiàn)在充斥著大量AI生成的文本。如果不做過濾，訓(xùn)練出來的模型會出現(xiàn)「模型坍縮」（model collapse）：每一代都在上一代的AI輸出上訓(xùn)練，能力會越來越差。DeepSeek專門做了一套過濾，把批量自動生成和套模板的內(nèi)容攔掉。

中期訓(xùn)練引入Agent數(shù)據(jù)。工具調(diào)用軌跡、多步推理、搜索片段這些，不能靠后訓(xùn)練硬掰，必須在預(yù)訓(xùn)練中期就喂進(jìn)去。這是V4-Flash的Agent能力躍升的關(guān)鍵原料。

多語言擴容。擴充了除中英外的長尾語言，覆蓋不同文化的知識。所以你用V4做翻譯、或者查一些非英文語言的長尾知識，效果會比V3好不少。

精選長文檔。科學(xué)論文、技術(shù)報告這類「學(xué)術(shù)價值獨特」的材料被重點收錄。

訓(xùn)練數(shù)據(jù)規(guī)模上，Pro版本是33T tokens，F(xiàn)lash版本是32T tokens。分詞沿用V3的128K詞表。

序列長度是分階段擴展的：從4K起步，逐步擴到16K、64K、1M。稀疏注意力也是分階段引入：前1T tokens先用dense attention熱身，到64K序列長度時切到sparse attention。這種漸進(jìn)式訓(xùn)練在超長上下文模型里已經(jīng)是事實標(biāo)準(zhǔn)，但V4的階段切換時機設(shè)計比較精細(xì)。

后訓(xùn)練：Specialist + OPD，一個被低估的范式變化

如果說架構(gòu)改動是V4最顯眼的變化，那后訓(xùn)練范式的變化其實是這篇報告最深刻的變化。V4在后訓(xùn)練章節(jié)的第一句話就很有趣：

the mixed Reinforcement Learning (RL) stage was entirely replaced by On-Policy Distillation (OPD).

翻譯過來就是：混合RL階段被徹底替換成在策略蒸餾。

這句話我覺得像是范式級別的轉(zhuǎn)變了。

為什么要替換

傳統(tǒng)后訓(xùn)練是「SFT+RLHF混煉」的路子：一個大雜燴數(shù)據(jù)集，SFT打底，再用一個reward model做RL。問題是什么？

數(shù)學(xué)、代碼、Agent、對話這些能力在RL階段會互相打架。你調(diào)數(shù)學(xué)的reward權(quán)重，代碼能力可能就掉了；你加Agent數(shù)據(jù)，對話又變笨。多任務(wù)聯(lián)合優(yōu)化的「負(fù)遷移」問題，幾乎每個做過后訓(xùn)練的團隊都踩過坑。

DeepSeek的解法是把「聯(lián)合優(yōu)化」拆成「分治+合并」：

Stage 1 Specialist訓(xùn)練：每個領(lǐng)域（推理、數(shù)學(xué)、代碼、Agent、通用對話）單獨訓(xùn)練一個專家模型。先SFT，再用GRPO做RL。每個專家只管自己那塊，reward signal清晰，不用跟其他領(lǐng)域折中。

Stage 2 On-Policy Distillation：把十多個專家模型當(dāng)老師，通過反向KL loss蒸餾出一個統(tǒng)一的學(xué)生模型。

這個拆分的妙處在于：RL只在專家階段做，最終的學(xué)生模型不做RL，只做蒸餾。RL的訓(xùn)練不穩(wěn)定性被隔離在專家模型內(nèi)部，學(xué)生模型通過更穩(wěn)定的蒸餾loss拿到所有專家的能力。

反向KL是關(guān)鍵

OPD的技術(shù)細(xì)節(jié)里，有一個點特別值得講：為什么用反向KL而不是正向KL？

正向KL是讓學(xué)生去cover老師的所有模式，結(jié)果往往學(xué)成四不像。反向KL是讓學(xué)生集中在老師分布的高概率區(qū)域，學(xué)生會自動「選老師」：數(shù)學(xué)任務(wù)時對齊數(shù)學(xué)專家，代碼任務(wù)時對齊代碼專家。

這個「自動路由」的特性，是多老師蒸餾能跑通的關(guān)鍵。

為什么這個范式重要

講到這里可能有朋友要問：這個東西對獨立開發(fā)者有什么意義？

我的判斷是，這可能是比MoE更深刻的范式變化。

MoE是推理時混合（runtime mixture），OPD蒸餾是訓(xùn)練時混合（training time mixture）。后者的組合空間大得多。

這個范式天然適合幾類場景：

• 小團隊：沒錢一開始就訓(xùn)大模型，但可以訓(xùn)多個小specialist，最后蒸餾融合

• 垂直應(yīng)用：法律/醫(yī)療/代碼各訓(xùn)一個專家，最后合并

• 持續(xù)學(xué)習(xí)：要增加新能力時，訓(xùn)一個新專家加入蒸餾池就行，不破壞老模型

只要你能訓(xùn)出專家，就能通過OPD合進(jìn)來。未來想加新能力（比如「寫毛筆字」「解幾何題」），路徑很清晰：訓(xùn)專家→加入蒸餾池。這比RLHF要改reward、要重跑全流程友好得多。

這個范式會不會成為新的行業(yè)標(biāo)準(zhǔn)，目前還不好說。但V4已經(jīng)用了十多個專家模型做OPD，證明在萬億參數(shù)級別它是可行的。

評測結(jié)果：強在哪，弱在哪

評測是V4論文里最重要的部分之一，也是最容易被誤讀的部分。我直接把我的判斷列出來。

數(shù)學(xué)推理：反超閉源旗艦

V4-Pro在幾個數(shù)學(xué)類benchmark上拿到了開源陣營前所未有的高分：

Benchmark

V4-Pro-Max

對比

Putnam-2025（形式化證明）

120/120 滿分

超過Axiom和Seed-Prover

Apex Shortlist

90.2

全場第一，超過Gemini 3.1 Pro

IMOAnswerBench

89.8

接近GPT-5.4的91.4

HMMT 2026 Feb

95.2

僅次于GPT-5.4

Codeforces的競賽評分V4-Pro能達(dá)到3206分，對應(yīng)人類選手第23名。這是非常離譜的水平。

編程：LiveCodeBench和Codeforces雙第一

V4-Pro在LiveCodeBench拿到93.5分，Codeforces Rating 3206。DeepSeek論文里明確寫了，這是第一次開源模型在這兩項任務(wù)上追平閉源。

但注意一個細(xì)節(jié)：SWE系列（真實工程代碼任務(wù)）就沒那么亮眼了。SWE Verified 80.6分接近Opus 4.6的80.8但沒超過，SWE Multilingual也略輸。

這就對應(yīng)上了DeepSeek論文里自己的總結(jié)：V4模型非常擅長做題，但品味上還差一些火候。競賽類任務(wù)有明確答案，RL能反復(fù)打磨；工程類任務(wù)要綜合考慮代碼風(fēng)格、架構(gòu)、可維護性，這些品味層面的東西現(xiàn)在的RL訓(xùn)練還吃不透。

Agent：全方位落后閉源

這是V4最弱的一塊。

Benchmark

V4-Pro-Max

最強

Terminal Bench 2.0

67.9

GPT-5.4: 75.1

BrowseComp

83.4

Gemini 3.1: 85.9

HLE w/ tools

48.2

Opus 4.6: 53.1（甚至輸給K2.6）

GDPval-AA (Elo)

1554

GPT-5.4: 1674

Terminal Bench 2.0落后GPT-5.4整整7分，HLE w/ tools落后Opus 4.6整整5分。DeepSeek論文里非常誠實地寫了：「所有開源模型仍落后閉源對手」。

唯一的亮點是MCPAtlas Public（73.6），僅次于Opus的73.8。說明V4在通用工具調(diào)用和MCP服務(wù)上泛化能力不錯，不是只在內(nèi)部框架里打雞血。

真實編程任務(wù)：接近Opus 4.5，差Opus 4.6 Thinking 13分

DeepSeek自己拿200多個真實的內(nèi)部R&D編程任務(wù)做了測試，來自50多位工程師日常工作中提的真實需求，覆蓋PyTorch、CUDA、Rust、C++：

模型

R&D編程通過率

Claude Haiku 4.5

13%

Claude Sonnet 4.5

47%

DeepSeek V4-Pro-Max 67%

Claude Opus 4.5

70%

Claude Opus 4.5 Thinking

73%

Claude Opus 4.6 Thinking

80%

V4-Pro的67%已經(jīng)超過Sonnet 4.5（47%），接近Opus 4.5（70%），但距離Opus 4.6 Thinking（80%）還差13個百分點。

這組數(shù)據(jù)是DeepSeek論文發(fā)布時跑的，當(dāng)時Claude最新是4.6 Thinking。現(xiàn)在Opus 4.7 Thinking已經(jīng)發(fā)布，V4和當(dāng)前最強閉源的真實差距大概是6個月到1年的研發(fā)時間。談不上「完全追平」，也算不上「落后一代」。

中文場景：真正的第一梯隊

中文寫作是V4-Pro少數(shù)能對Opus 4.5掰手腕的地方：

意思就是日常中文寫作對Gemini是碾壓級，復(fù)雜指令跟隨對Opus 4.5仍然有差距。論文里吐槽Gemini經(jīng)常「讓自己的風(fēng)格偏好壓過用戶的明確需求」（擅自加戲），這個描述我讀完忍不住笑了一下。

長上下文：128K內(nèi)穩(wěn)如狗，1M勉強能用

Benchmark

V4-Pro

Opus 4.6

Gemini 3.1

MRCR 1M

83.5

92.9

76.3

CorpusQA 1M

62.0

71.7

53.8

V4在1M長上下文的檢索任務(wù)上超過Gemini，但落后Claude Opus 4.6。MRCR 8-needle測試顯示128K以內(nèi)性能穩(wěn)定在0.9以上，256K后開始掉到0.82，到1024K降至0.59。

128K以內(nèi)基本沒有性能衰減，1M勉強能用。這是CSA+HCA混合架構(gòu)帶來的實際收益。對大多數(shù)Agent和代碼場景，128K已經(jīng)足夠。

一個特點：為什么V4這么偏科？

讀完整份報告，加上這些benchmark結(jié)果，有一個很鮮明的模式浮出來：

V4特別擅長做題，但在品味型任務(wù)上差一檔。

數(shù)學(xué)競賽Putnam滿分，Codeforces拿到人類選手第23名，LiveCodeBench全場第一。

但創(chuàng)意寫作輸給Opus 4.5，Agent任務(wù)落后GPT-5.4，HLE通用知識被Gemini壓制。

我自己的理解是：這和DeepSeek招的人有關(guān)。

DeepSeek的招聘以競賽獲獎選手為主。這些人擅長什么？擅長在給定規(guī)則下把單點做到極致，擅長解有明確答案的題。模型訓(xùn)練的偏好會受數(shù)據(jù)團隊、訓(xùn)練團隊、評估團隊的品味影響，這些品味又受團隊成員的背景影響。

所以V4在有明確答案的任務(wù)上表現(xiàn)頂尖（數(shù)學(xué)、競賽編程），在需要綜合品味的任務(wù)上（創(chuàng)意寫作、長鏈Agent、通用工程編程）就會相對偏弱。

這只是一個觀察，談不上批評。模型的性格映射著團隊的性格，這件事很多時候比人們想象的更直接。

DeepSeek還是那個DeepSeek嗎？

寫到這里不得不問一個問題：V4時代的DeepSeek，和V3時代比，變了嗎？

我的回答是：變了，但沒變味。

V3時代的DeepSeek是「小團隊、極致工程、帶來驚喜」。V4時代的DeepSeek打開論文附錄，研究工程作者名單已經(jīng)超過300人，加上商業(yè)和合規(guī)接近350人。這不再是那個幾十人的實驗室。

但有幾個東西沒變。

一個是工程至上。V4的創(chuàng)新重點不在高層架構(gòu)設(shè)計，而在「信號怎么流動」和「梯度怎么更新」這兩個底層問題上。mHC解決深度scale的數(shù)值穩(wěn)定性，CSA+HCA解決上下文scale的算力和內(nèi)存，Muon解決參數(shù)scale的訓(xùn)練效率。每一項都是回答「為什么V3做不大」的問題。

我在1月那篇mHC解讀里寫過一句話：DeepSeek的技術(shù)哲學(xué)是去質(zhì)疑那些所有人都覺得沒必要改的東西。V4這篇論文把這句話又扎扎實實兌現(xiàn)了一次。殘差連接改了，注意力機制改了，優(yōu)化器也改了。每一處都是行業(yè)里默認(rèn)不動的底座。

另一個是誠實。承認(rèn)架構(gòu)「太復(fù)雜」（原文：retained many preliminarily validated components which made the architecture relatively complex），承認(rèn)訓(xùn)練穩(wěn)定性機制「不理解」（原文：underlying principles remain insufficiently understood），承認(rèn)sparse還不夠極致，承認(rèn)Agent能力落后閉源。這些話寫進(jìn)一篇技術(shù)報告里，放到國內(nèi)同行里幾乎找不到第二家。

還有一條是Open是真Open。R1的86頁更新補全了訓(xùn)練賬單和數(shù)據(jù)配方，V4的58頁繼續(xù)補全基礎(chǔ)設(shè)施的每個縫隙。不是「開源權(quán)重就完了」的Open，是一份讓別人真的能復(fù)現(xiàn)的Open。

DeepSeek在發(fā)布V4的時候引用了一句話：不誘于譽，不恐于誹，率道而行，端然正己。

不被贊譽誘惑，不被誹謗嚇退，按自己的道走，端正自己。

這句話可能比58頁的論文技術(shù)細(xì)節(jié)更能解釋這家公司。

最后

回到開頭那條線。1月那三篇解讀，mHC確實進(jìn)V4了。Engram和OCR 2呢？

1月Engram那篇我用的比喻是「給大模型發(fā)一本字典」：靜態(tài)知識直接查表，不浪費網(wǎng)絡(luò)深度現(xiàn)場推理。V4這次沒把這本字典裝進(jìn)來，但論文明確把「沿新維度繼續(xù)稀疏化」列進(jìn)了未來路線圖，參考文獻(xiàn)正是Engram那篇論文。

OCR 2的視覺因果流也沒進(jìn)V4，但多模態(tài)被明確寫進(jìn)V5的方向（原文：incorporating multimodal capabilities）。

所以下一代DeepSeek大概率會是這樣的輪廓：原生多模態(tài)（OCR 2這一脈的延伸）、引入某種可擴展的查找式記憶（Engram這一脈的延伸）、進(jìn)一步降低延遲（為Agent交互做準(zhǔn)備）、更長的long-horizon multi-round agentic能力。

V5什么時候發(fā)我不好預(yù)測。但DeepSeek的節(jié)奏已經(jīng)固定下來：論文先鋪路，模型后亮相。V4論文里寫了未來方向，剩下的就是時間。

V4顯然談不上對Opus 4.7或GPT-5.5的超越，它是開源陣營的一次基礎(chǔ)設(shè)施級更新。把百萬token上下文、Agent原生支持、成本優(yōu)勢打包成一個可復(fù)用的底座。真正的價值不在V4-Pro能不能打贏最強閉源，而在V4-Flash讓每一個獨立開發(fā)者都能在自己的產(chǎn)品里塞進(jìn)百萬上下文。

閉源卷天花板，開源卷地板。

更有意思的故事，會在V5身上。

參考資料：

• DeepSeek V4技術(shù)報告：見DeepSeek官方GitHub（deepseek-ai/DeepSeek-V4）

• DeepSeek R1論文v2（86頁）：arxiv.org/abs/2501.12948

• 我做的73頁PPT： https://github.com/alchaincyf/deepseek-v4-deep-dive

• 我之前寫的DeepSeek論文解讀系列（mHC、Engram、OCR 2、R1更新）可以在公眾號歷史文章里搜到