DeepSeek V4 重磅開源！首次打通華為Ascend，也沒丟掉英偉達，百萬上下文奪回國產模型話語權

作者｜冬梅

剛剛，DeepSeek 在官方公眾號發文宣布，全新系列模型 DeepSeek-V4 的預覽版本正式上線，并同步開源！

DeepSeek-V4 擁有百萬字超長上下文，在 Agent 能力、世界知識和推理性能三大維度上均實現了國內與開源領域的領先。

秉承 DeepSeek 一貫的開放精神，本次發布的模型按大小分為兩個版本，歡迎開發者、研究者和企業用戶前往體驗和下載。

模型按大小分為兩個版本：

• DeepSeek-V4 模型開源鏈接：

  https://huggingface.co/collections/deepseek-ai/deepseek-v4

  https://modelscope.cn/collections/deepseek-ai/DeepSeek-V4

• DeepSeek-V4 技術報告：

  https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro/blob/main/DeepSeek_V4.pdf

Pro 版本面向的是高性能，Flash 版本則主攻性價比。

API 服務已同步更新，通過修改 model_name 為 deepseek-v4-pro 或 deepseek-v4-flash 即可調用。

從技術報告來看，有一點特別值得注意，DeepSeek V4 并不是只在 NVIDIA 體系內做優化，而是明確將細粒度專家并行（EP）方案同時在 NVIDIA GPU 和華為 Ascend NPU 上完成驗證，這說明其推理路徑已經具備跨算力平臺的適配能力。但在開源層面，當前釋放的仍主要是基于 CUDA 的 MegaMoE 和 DeepGEMM，底層實現深度綁定 NVIDIA 工具鏈。

另外，官方 API 頁面還提到，受限于高端算力，目前 V4-Pro 的服務吞吐仍有限，預計下半年昇騰 950 超節點批量上市后，Pro 價格會大幅下調。這意味著，DeepSeek 一邊在現有 CUDA 生態內持續做極致優化，一邊也在為華為 Ascend 等多算力環境預留空間，開始嘗試把模型運行時從單一硬件依賴中解耦出來。

DeepSeek-V4-Pro：性能比肩頂級閉源模型

• Agent 能力大幅提高：相比前代模型，DeepSeek-V4-Pro 的 Agent 能力顯著增強。在 Agentic Coding 評測中，V4-Pro 已達到當前開源模型最佳水平，并在其他 Agent 相關評測中同樣表現優異。目前 DeepSeek-V4 已成為公司內部員工使用的 Agentic Coding 模型，據評測反饋使用體驗優于 Sonnet 4.5，交付質量接近 Opus 4.6 非思考模式，但仍與 Opus 4.6 思考模式存在一定差距。

• 豐富的世界知識：DeepSeek-V4-Pro 在世界知識測評中，大幅領先其他開源模型，僅稍遜于頂尖閉源模型 Gemini-Pro-3.1。

• 世界頂級推理性能：在數學、STEM、競賽型代碼的測評中，DeepSeek-V4-Pro 超越當前所有已公開評測的開源模型，取得了比肩世界頂級閉源模型的優異成績。

DeepSeek-V4-Flash：主攻性價比

• 相比 DeepSeek-V4-Pro，DeepSeek-V4-Flash 在世界知識儲備方面稍遜一籌，但展現出了接近的推理能力。而由于模型參數和激活更小，相較之下 V4-Flash 能夠提供更加快捷、經濟的 API 服務。

• 在 Agent 測評中，DeepSeek-V4-Flash 在簡單任務上與 DeepSeek-V4-Pro 旗鼓相當，但在高難度任務上仍有差距。

百萬上下文已成標配

官方公眾號文章中介紹，DeepSeek-V4 開創了一種全新的注意力機制，在 token 維度進行壓縮，結合 DSA 稀疏注意力（DeepSeek Sparse Attention），實現了全球領先的長上下文能力，并且相比于傳統方法大幅降低了對計算和顯存的需求。

從現在開始，1M（一百萬）上下文將是 DeepSeek 所有官方服務的標配。

DeepSeek-V4 和 DeepSeek-V3.2 的計算量和顯存容量隨上下文長度的變化

值得注意的是，DeepSeek-V4 還針對 Claude Code 、OpenClaw、OpenCode、CodeBuddy 等主流的 Agent 產品進行了適配和優化，在代碼任務、文檔生成任務等方面表現均有提升。下圖為 V4-Pro 在某 Agent 框架下生成的 PPT 內頁示例：

目前，DeepSeek API 已同步上線 V4-Pro 與 V4-Flash，支持 OpenAI ChatCompletions 接口與 Anthropic 接口。訪問新模型時，base_url 不變, model 參數需要改為 deepseek-v4-pro 或 deepseek-v4-flash。

V4-Pro 和 V4-Flash 均提供 1M 上下文長度，并同時支持非思考模式與思考模式。后者可通過 reasoning_effort 參數調節思考強度（可選 high 或 max）。對于復雜的 Agent 類任務，建議啟用思考模式并將強度設為 max。具體調用方式及參數設置請查閱 API 文檔。

需注意：舊接口中的 deepseek-chat 和 deepseek-reasoner 兩個模型名將于 2026 年 7 月 24 日 停止使用。過渡期內，它們分別指向 deepseek-v4-flash 的非思考模式與思考模式。

拆解關鍵技術創新

混合注意力機制

CSA 與 HCA 是關鍵創新是 V4 系列最關鍵的創新之一。傳統注意力機制處理長序列時，每個 token 都需要與所有歷史 token 計算注意力，導致計算量隨序列長度平方增長。V4 設計了兩種互補的壓縮注意力架構：

壓縮稀疏注意力（CSA）：首先將每 m 個 token 的 KV 緩存壓縮為 1 個條目（m=4），然后使用 DeepSeek 稀疏注意力，每個查詢 token 僅需關注 k 個壓縮后的 KV 條目（k=512~1024），引入 Lightning Indexer（輕量索引器）高效選出重要的壓縮塊，整體將序列長度壓縮至 1/m。

高度壓縮注意力（HCA）：采用更激進的壓縮率（m'=128），將每 128 個 token 壓縮為 1 個，保持稠密注意力（不稀疏），適用于信息密度較低的場景，CSA 與 HCA 以交錯方式堆疊，兼顧效率與表達力。

工程亮點：支持 RoPE 部分位置編碼（僅最后 64 維），維持相對位置信息；引入滑動窗口注意力分支捕獲局部依賴；采用 Attention Sink 技術讓注意力得分總和可以不為 1。

此外，Engram 和 mHC 兩個版塊上的創新也同樣很關鍵。

Engram 記憶模塊

首先是 Engram (條件記憶模塊)：這是 DeepSeek 創始人梁文鋒署名論文中的核心概念。它試圖解決傳統 Transformer 架構將記憶與推理混為一談的根本問題，模型既需要用注意力去“檢索”知識，又需要用注意力去“推理”。

工作原理是 Engram 將模型能力從連續的神經計算轉移到確定性的哈希查找。它將那些固定的、需要記憶的模式（如實體名、固定搭配）存入一個類似“字典”的查找表中，使模型能以 O(1) 的復雜度快速調用，而無需消耗大量算力去“計算”記憶。

實際效果：這使得模型能將寶貴的注意力資源解放出來，專注于復雜的組合與推理任務。在實驗階段，一個集成了 270 億參數 Engram 的模型，在參數和浮點運算次數（FLOPs）同等的情況下，性能超過了純 MoE 模型。

mHC 流形約束超連接

mHC (流形約束超連接，Manifold-Constrained Hyper-Connections)：這是一個旨在解決極深網絡訓練不穩定性的創新。傳統 Transformer 模型在堆疊到很深的時候，容易出現梯度爆炸或消失等信號 degradation 問題。

通過將連接矩陣約束在雙隨機矩陣流形上，mHC 確保了信號增益在每一層都保持穩定（約 1.6 倍），從而讓深層表示得以保留。這使訓練更深、更強的模型成為可能，將計算利用率從行業平均的約 60% 提升到了 85% 以上，同時減少了 30%+ 的原始計算依賴。

除了核心架構的創新，V4 在訓練和推理工程層面也進行了大量優化。

Muon 優化器：萬億參數的新訓練范式

V4 首次在萬億參數 MoE 模型上大規模采用 Muon 優化器。

團隊設計了一套混合 Newton-Schulz 迭代策略：前 8 步使用快速收斂系數，后 2 步切換為穩定系數，在正交化精度與收斂速度間取得最優。為解決 ZeRO 并行與 Muon 需要完整梯度矩陣的矛盾，團隊設計了混合 ZeRO 分配策略——稠密參數限制并行度并用背包算法負載均衡，MoE 專家參數獨立展平后均勻分布。進一步地，MoE 梯度在同步前以隨機舍入方式量化到 BF16，通信量減半；同時采用“all-to-all + 本地 FP32 求和”規避低精度加法器的累積誤差。

FP4 量化：無損壓縮與推理加速

V4 在 MoE 專家權重和 CSA 索引器的 QK 路徑上應用了 FP4 量化感知訓練。一個關鍵發現是：FP4 到 FP8 的解量化是無損的——因為 FP8 擁有更大的動態范圍，FP4 子塊的細粒度尺度信息可以被完全吸收。這使得整個量化流程可以無縫復用現有的 FP8 訓練框架。在推理和 RL rollout 階段，直接使用真實 FP4 權重，實現實時的顯存節省和計算加速。對索引器分數的 FP32→BF16 量化更是帶來了 2 倍加速，同時保持 99.7% 的召回率。

專家并行：通信 - 計算深度融合

MoE 模型的專家并行受限于跨節點通信。傳統方案中，Dispatch 和 Combine 階段是純通信瓶頸。V4 的創新是將專家切分為“波”——每個波包含一小部分專家。當波內專家的通信完成后，計算立即開始，無需等待其他專家。穩態下，當前波的計算、下一波的 token 傳輸、已完成專家的結果發送三者同時進行。這一細粒度流水線在 NVIDIA GPU 和華為昇騰 NPU 上實現 1.5~1.73 倍加速，在 RL rollout 等高敏感場景下可達 1.96 倍。

團隊還提出了硬件設計建議：當前每 GBps 互聯帶寬足以覆蓋 6.1 TFLOP/s 的計算需求，盲目增加帶寬會帶來收益遞減。這一洞察對未來 AI 加速器設計具有指導意義。

確定性內核：大規模訓練的可復現性保障

訓練萬億參數模型時，非確定性行為可能導致難以調試的 loss 尖峰。V4 實現了全面的批量不變性和確定性：任何 token 的輸出不因 batch 內位置而改變；每次運行的梯度累積順序保持一致。技術難點包括：注意力反向傳播中放棄 split-KV 方案，改用雙核策略（滿波時單 SM 處理、部分波時多 SM 協作但保證累積順序）；MoE 反向傳播通過 rank 內 token 順序預處理加 rank 間 buffer 隔離解決競爭；mHC 中小矩陣乘法（輸出維度僅 24）被迫使用 split-k 時，先輸出各 split 部分再通過專用核確定性歸約。這些工程打磨使得大規模訓練的可復現性達到新高度。

TileLang DSL：高性能內核的高效開發

為支撐數百個融合核的開發，V4 團隊采用 TileLang 領域特定語言，并實現了主機代碼生成——將數據類型、形狀約束等元數據嵌入生成的 launcher 中，運行時驗證開銷從數十微秒降至 1 微秒以下。同時集成 Z3 SMT 求解器進行形式整數分析，支持向量化優化、屏障插入等高級編譯優化。嚴格對齊數值精度與 CUDA 工具鏈，保證 bit 級可重現性。

訓練穩定性：預知路由與 SwiGLU 鉗位

萬億 MoE 模型的訓練穩定性是一大挑戰。V4 識別出 loss 尖峰與 MoE 層異常值的強相關性，且路由機制會加劇異常值。為此設計了預知路由：在 step t 使用歷史參數θ_{t-Δt}計算路由索引，當前參數僅做特征計算，通過管線執行與通信重疊將額外開銷控制在 20%，且僅在尖峰發生時動態激活。

配合 SwiGLU 鉗位（線性分量鉗位到[-10,10]，門控分量上界鉗位到 10），有效消除了異常值，且不影響性能。

框架層優化：長上下文 RL 落地

V4 的框架優化覆蓋了訓練與推理全流程：

• 上下文并行適配：兩階段通信策略解決壓縮邊界跨 rank 的問題，每個 rank 發送最后 m 個未壓縮 KV，all-gather 后融合為完整序列。

• 張量級激活檢查點：擴展自動微分框架，支持對單個張量標注重計算，框架自動計算最小重計算子圖，釋放顯存并復用指針，開發者無需關心底層內存細節。

• 異構 KV 緩存管理：分離狀態緩存（SWA+ 未就緒壓縮 token）和經典 KV 緩存，支持磁盤存儲以實現共享前綴請求的零重復預填充。

后訓練范式：同策略蒸餾

V4 的后訓練采用“獨立專家訓練→同策略蒸餾”兩階段范式。首先針對數學、代碼、Agent、指令跟隨等領域獨立訓練專家模型，每個專家經過 SFT 和 GRPO 強化學習，支持三種推理模式（Non-think/Think High/Think Max）。

特別地，使用了生成式獎勵模型替代傳統標量獎勵模型，模型的 actor 與 judge 角色統一，將推理能力內化到評估中。

然后通過同策略蒸餾將十多個專家融合到一個統一模型。采用逆向 KL 散度作為目標，并使用全詞表 logit 蒸餾（而非 token 級 KL 估計），梯度估計更穩定。工程上，教師權重 offload 到分布式存儲，僅緩存最后一層 hidden states，訓練樣本按教師索引排序確保每個教師頭只加載一次，使得在萬億參數級別進行多教師蒸餾成為現實。

不得不說，DeepSeek-V4-Pro-Max（最大推理強度模式）在多項基準上重新定義了開源模型的天花板：

• 知識：SimpleQA-Verified 達到 57.9%，遠超前代開源模型（約 30%）；

• 編程：Codeforces Elo 3206 分，排名人類第 23，首次有開源模型在該任務上追平 GPT-5.4；

• Agent：SWE-Verified 80.6%，接近 Claude Opus 4.6 的 80.8%；Terminal Bench 2.0 67.9%，與 GPT-5.4 的 68.5% 持平；

• 中文任務：功能性寫作以 62.7% 的勝率優于 Gemini 3.1 Pro，創意寫作在寫作質量維度達到 77.5% 勝率。

V4-Flash-Max 則以極低成本實現了與 GPT-5.2 和 Gemini 3.0 Pro 相當的推理性能，證明了高效架構的可行性。

過去一年 DeepSeek 重要發布回顧

2025 年除夕夜，當大多數用戶還沉浸在年味中時，DeepSeek 低調發布了DeepSeek-R1。沒有發布會、沒有鋪天蓋地的宣發，但幾天之內，這個模型迅速在技術社區、研究圈與開發者社群中擴散開來。事后來看，R1 更像是一個信號：推理模型，開始從“研究話題”走向“工程現實”。

DeepSeek 發布了在數學、代碼編寫和邏輯推理方面表現卓越的 DeepSeek-R1 模型。其性能直追 OpenAI o1，并能夠展示詳盡的思維鏈。該模型通過 MIT 協議開源了相關權重和代碼，不僅產生了深遠的技術影響，更直接重塑了全球開源與商業大模型，乃至中美大模型的技術競爭格局。

R1 之后：持續迭代，而非“一次性爆款”。

3 月 25 日，DeepSeek V3 模型已完成小版本升級，歡迎前往官方網頁、APP、小程序試用體驗（關閉深度思考），API 接口和使用方式保持不變。

DeepSeek 反饋稱此次 DeepSeek-V3 的小版本升級，版本號為 V3-0324，主要聚焦于體驗優化和性能提升。在官方網頁、App 和小程序中，用戶關閉“深度思考”功能，可獲取更快的響應速度，適合對實時性要求高的場景（如簡單問答、代碼片段生成）。

5 月 28 日，DeepSeek R1 模型已完成小版本升級，版本為 DeepSeek-R1-0528。這款開源大模型支持 128K 超長上下文，中文能力超越 GPT-4-Turbo 登頂 SuperCLUE 榜首，代碼性能媲美頂級閉源模型。亮點包括：處理整本小說 / 超長文檔的"大海撈針"能力、MIT 開源協議支持商用、免費開放使用。適用場景涵蓋企業文檔分析、教育科研、編程輔助等。

8 月 21 日，DeepSeek-V3.1 正式發布。本次升級包含以下主要變化：

• 混合推理架構：一個模型同時支持思考模式與非思考模式；

• 更高的思考效率：相比 DeepSeek-R1-0528，DeepSeek-V3.1-Think 能在更短時間內給出答案；

• 更強的 Agent 能力：通過 Post-Training 優化，新模型在工具使用與智能體任務中的表現有較大提升。

官方 App 與網頁端模型已同步升級為 DeepSeek-V3.1。用戶可以通過“深度思考”按鈕，實現思考模式與非思考模式的自由切換。

DeepSeek-V3.1 上下文已擴展為 128K。同時，API Beta 接口支持了 strict 模式的 Function Calling，以確保輸出的 Function 滿足 schema 定義。

9 月 22 日，DeepSeek-V3.1 已更新至 DeepSeek-V3.1-Terminus 版本。據 DeepSeek 介紹，此次更新在保持模型原有能力的基礎上，針對用戶反饋的問題進行了改進，包括：語言一致性：緩解中英文混雜、偶發異常字符等情況。在 Agent（智能體）能力方面，進一步優化 Code Agent 與 Search Agent 的表現，DeepSeek-V3.1-Terminus 的輸出效果相比前一版本更加穩定。

9 月 29 日，DeepSeek 發布 DeepSeek-V3.2-Exp 模型，這是一個實驗性（Experimental）的版本。

作為邁向新一代架構的中間步驟，V3.2-Exp 在 V3.1-Terminus 的基礎上引入了 DeepSeek Sparse Attention（一種稀疏注意力機制），針對長文本的訓練和推理效率進行了探索性的優化和驗證。

DeepSeek Sparse Attention（DSA）首次實現了細粒度稀疏注意力機制，在幾乎不影響模型輸出效果的前提下，實現了長文本訓練和推理效率的大幅提升。

12 月 1 日，DeepSeek 官方同時發布兩個正式版模型：DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale。

DeepSeek-V3.2 的目標是平衡推理能力與輸出長度，適合日常使用，例如問答場景和通用 Agent 任務場景。

在公開的推理類 Benchmark 測試中，DeepSeek-V3.2 達到了 GPT-5 的水平，僅略低于 Gemini-3.0-Pro；相比 Kimi-K2-Thinking，V3.2 的輸出長度大幅降低，顯著減少了計算開銷與用戶等待時間。

DeepSeek-V3.2-Speciale 的目標是將開源模型的推理能力推向極致，探索模型能力的邊界。

V3.2-Speciale 是 DeepSeek-V3.2 的長思考增強版，同時結合了 DeepSeek-Math-V2 的定理證明能力。該模型具備更好的指令跟隨、數學證明與邏輯驗證能力，在主流推理基準測試上的性能表現媲美 Gemini-3.0-Pro。

V3.2-Speciale 模型成功斬獲 IMO 2025（國際數學奧林匹克）、CMO 2025（中國數學奧林匹克）、ICPC World Finals 2025（國際大學生程序設計競賽全球總決賽）及 IOI 2025（國際信息學奧林匹克）金牌。其中，ICPC 與 IOI 成績分別達到了人類選手第二名與第十名的水平。

DeepSeek 官方表示，在高度復雜任務上，Speciale 模型大幅優于標準版本，但消耗的 Tokens 也顯著更多，成本更高。目前，DeepSeek-V3.2-Speciale 僅供研究使用，不支持工具調用，暫未針對日常對話與寫作任務進行專項優化。

再然后到了 2026 年 1 月 13 日，喜歡悶聲做大事的 DeepSeek 再次發布重大技術成果，在其 GitHub 官方倉庫開源了新論文與模塊 Engram，論文題為 “Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models”，梁文鋒再次出現在合著者名單中。

與傳統的大模型架構相比，該方法提出了一種新的“查—算分離”機制，通過引入可擴展的查找記憶結構，在等參數、等算力條件下顯著提升模型在知識調用、推理、代碼、數學等任務上的表現。代碼與論文全文均已開源。

論文地址：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

代碼地址：https://github.com/deepseek-ai/Engram

這種查和算分離的 Engram 新方法的整體架構如下圖所示：

我們為什么需要 Engram ？

目前主流的大語言模型架構依然基于 Transformer 和 Mixture-of-Experts（MoE）結構。MoE 是目前推進參數規模和能力擴展的關鍵技術之一，通過動態路由機制，只激活部分參數以降低計算成本，同時在任務容量方面實現大規模擴展。DeepSeek 自家系列模型（如 DeepSeek V2、DeepSeek V3 等）也采用了先進的 MoE 方法進行擴展訓練。

但在這些傳統的 Transformer 架構（無論是 Dense 還是 MoE）中，模型的參數實際上承擔著兩種截然不同的角色：

事實性記憶（Memorization）： 存儲海量的知識事實。例如，“法國的首都是哪里？”、“世界最高的山脈是哪座”等。這類信息相對死板，更多依賴于“查表”式的檢索。

邏輯推理與計算（Calculation）： 負責復雜的邏輯鏈條、多步推理和情境理解。例如，“根據這段代碼的邏輯推導可能的 Bug”、“解析一段復雜的哲學論證”。

目前的大語言模型傾向于將這兩者混在一起。當你試圖讓模型記住更多知識時，你不得不增加參數量。而在傳統的 Dense 模型中，參數量增加意味著前向傳播時的計算量（FLOPs）也會同步激增。MoE 架構雖然通過稀疏激活解決了“算力隨參數同步爆炸”的問題，但 DeepSeek 研究發現，MoE 專家在處理“死記硬背”的任務時依然不夠高效。

神經網絡本質上是連續的數學變換，用高昂的矩陣運算去模擬簡單的“查表檢索”，本身就是一種極大的浪費。DeepSeek 的 Engram 正是為了打破這一困境——“該查表的查表，該算的算”。

聲明：本文為 InfoQ 整理，不代表平臺觀點，未經許可禁止轉載。

會議推薦

世界模型的下一個突破在哪？Agent 從 Demo 到工程化還差什么？安全與可信這道坎怎么過？研發體系不重構，還能撐多久？

AICon 上海站 2026，4 大核心專題等你來：世界模型與多模態智能突破、Agent 架構與工程化實踐、Agent 安全與可信治理、企業級研發體系重構。14 個專題全面開放征稿。

誠摯邀請你登臺分享實戰經驗。AICon 2026，期待與你同行。

今日薦文

你也「在看」嗎？