![]()
370倍的鴻溝,不只是限時促銷。
作者丨岑峰
GPT-5.5 “大杯版”的輸出價格是 130 美元/百萬 Token,而 DeepSeek-V4 只要 2.5 元人民幣。在同樣的智能水位下,兩者的成本差了整整 370 倍。
這絕非一場互聯(lián)網(wǎng)式的“補(bǔ)貼大戰(zhàn)”或限時促銷,而是一場已經(jīng)持續(xù)了四年的中國特色“效率革命”。在 Agent 時代,當(dāng)長程任務(wù)的一致性需求迫使 Token 消耗量呈指數(shù)級增加時,DeepSeek-V4 延續(xù)了其“用更少的資源做更多的事”的硬核傳統(tǒng),再一次以極致的壓縮方案,將百萬上下文的門檻從“奢侈品”變成了“日用品”。
但省錢從來不是免費(fèi)的午餐。每一次效率的跨代領(lǐng)先,都在系統(tǒng)復(fù)雜度、生態(tài)鎖定和能力邊界上埋下了伏筆。為什么 OpenAI、Anthropic 始終堅(jiān)守稠密模型與原生長窗?DeepSeek 與昇騰芯片的深度軟硬綁定,究竟是國產(chǎn)替代的曙光,還是構(gòu)建了新的技術(shù)孤島?當(dāng)大模型競賽進(jìn)入“系統(tǒng)戰(zhàn)爭”的深水區(qū),誰能定義下一個十年的 AI 基礎(chǔ)設(shè)施?
在Deepseek V4發(fā)布當(dāng)天的GAIR Live圓桌上,雷峰網(wǎng)聯(lián)合創(chuàng)始人岑峰對話三位行業(yè)專家:
數(shù)勢科技創(chuàng)始人兼CEO黎科峰
智源系統(tǒng)智能研究組研究員劉廣
清昴智能技術(shù)負(fù)責(zé)人楊澤乾
從產(chǎn)業(yè)競爭、系統(tǒng)生態(tài)和技術(shù)架構(gòu)三個維度,拆解DeepSeek-V4的效率賬本。
![]()
01
四次"掀桌子",掀的是不同的桌子
DeepSeek的"掀桌子"不是一生只有一次的事件,而是一場分階段、分維度的系統(tǒng)性進(jìn)攻。黎科峰將V2到V4的四次發(fā)布拆解為四個不同的戰(zhàn)場:
?V2掀的是"價格桌":KV Cache壓縮90%以上,API價格打到GPT-4的1%;
?V3掀的是"訓(xùn)練桌":不到600萬美元訓(xùn)練出GPT-4o級模型,證明了中國團(tuán)隊(duì)可以用極低成本做出世界一流基座;
?R1掀的是"推理桌":30萬美元純強(qiáng)化學(xué)習(xí)涌現(xiàn)出CoT能力,讓全球看到推理模型不必依賴天價算力。
?而V4掀的,是"系統(tǒng)桌":在 GLM、Kimi、Qwen、Gemini 等強(qiáng)手環(huán)伺下,V4 不僅補(bǔ)齊了 Coding、數(shù)學(xué)與長上下文的短板,更完成了對昇騰 910B 算力的徹底適配與 FP4 量化支持。
黎科峰指出,V4 的真正不同在于:它不再是“從 0 到 1”的驚喜,而是在“從 1 到 100”的正面戰(zhàn)場上,用工程能力和系統(tǒng)效率硬碰硬地贏了。
這種進(jìn)化軌跡如同喬布斯提到的“連點(diǎn)成畫”(connecting the dots):分散的效率突破,最終拼出了一幅完整的、獨(dú)立于 CUDA 生態(tài)之外的 AI 基礎(chǔ)設(shè)施圖景。
02
2%的算法暴力美學(xué)
在 DeepSeek-V4 的技術(shù)報告中,最令業(yè)界震撼的數(shù)字莫過于“2%”。在 Transformer 架構(gòu)統(tǒng)治大模型的今天,長序列處理產(chǎn)生的 KV Cache 始終是顯存消耗的“黑洞”。
楊澤乾指出,DeepSeek 的進(jìn)化本質(zhì)上是一場“存量空間的戰(zhàn)爭”。V2 引入 MLA 壓縮了 90% 的緩存空間;而 V4 進(jìn)一步祭出了 CSA(壓縮稀疏注意力)與 HCA(混合注意力) 的組合拳。這不僅是數(shù)學(xué)上的奇跡,更是工程上的大膽取舍。
楊澤乾認(rèn)為,DeepSeek 將計算復(fù)雜度從傳統(tǒng)的 O(n2) 壓向了接近線性。這意味著,百萬級長文本從此前的“奢侈品”變成了“日用品”。這種“極致壓縮”路徑,雖然在極端長度下可能存在檢索性能的衰減,但它解決了“能用”和“好用”的門檻問題。
這種架構(gòu)的復(fù)雜性,被嘉賓們稱為“算法的暴力美學(xué)”。它反映了這樣一種技術(shù)之美:在算力極度稀缺的背景下,中國工程師選擇用更復(fù)雜的系統(tǒng)邏輯,去對沖硬件資源的匱乏。當(dāng)百萬級長文本不再是需要慎重使用的“昂貴資源”,Agent 的長程思考才真正具備了大規(guī)模落地的經(jīng)濟(jì)性基礎(chǔ)。
03
效率革命的隱性代價:選擇即取舍
極致的省錢往往伴隨著復(fù)雜度的代價。楊澤乾直言,DeepSeek 的每一筆效率收益,都在其他地方留下了賬單:
1. 性能的衰減:CSA 和 HCA 的極致壓縮,導(dǎo)致在 128K 之后的長序列檢索性能出現(xiàn)不可避免的衰減。這種“遺忘的藝術(shù)”意味著在處理極端長度的邏輯推理時,模型可能出現(xiàn)邏輯斷層,這與 Claude 追求的“完美檢索”是截然不同的路線。
2. 架構(gòu)的債:為了省錢,整體架構(gòu)變得極其精巧且復(fù)雜。這雖然在訓(xùn)練側(cè)省下了真金白銀,但在后續(xù)的跨平臺遷移、不同芯片的算子適配上,會帶來極高的工程難度。
3. MoE 的連貫性瓶頸:作為 MoE(混合專家模型)的極致信徒,DeepSeek V4 總參數(shù) 1.6T 卻只激活 49B,這種“細(xì)粒度路由”雖然效率驚人,但在需要高度全局一致性的長程 Agent 任務(wù)中,表現(xiàn)仍遜于昂貴的稠密模型。
這些賬單不是缺陷,而是深思熟慮后的選擇。DeepSeek 這種聰明之處在于:它清楚地知道自己在放棄什么,并且成功地將這些“放棄”轉(zhuǎn)化為了極具殺傷力的商業(yè)優(yōu)勢。
04
長上下文的真相:我們只走了一半的路
雖然百萬上下文已成標(biāo)配,但劉廣拋出了一個更尖銳的判斷:“現(xiàn)在的技術(shù)只解決了一半問題——能記住,但學(xué)不會。”
目前大廠的長文本策略各具特色:DeepSeek 走實(shí)用主義壓縮路線,成本極低;Gemini 走原生架構(gòu)路線,全局一致性好但擴(kuò)展性受限;Claude 追求高精度檢索,是法務(wù)和醫(yī)療場景的首選;OpenAI 則利用推理模型優(yōu)化邏輯深度。
但這些策略本質(zhì)上都是“記憶”而非“學(xué)習(xí)”。模型可以一次性吞下整本《三體》做總結(jié),但無法在與用戶的長期交互中持續(xù)更新權(quán)重、沉淀個性化的知識。人一輩子讀的書可能遠(yuǎn)超百萬 Token,卻能將其內(nèi)化為智慧。大模型的長文本技術(shù)如果不能跨越從“臨時緩存”到“權(quán)重更新”的鴻溝,長上下文就依然只是一個更寬的、容易被溢出的漏斗。
這意味著,我們還在長上下文這條路上走了一半,剩下的那一半,是如何讓模型在交互中真正"成長"。
05
MoE vs 稠密,不是技術(shù)優(yōu)劣,是生存策略
一個有趣的地理發(fā)現(xiàn)是:國內(nèi)“開源御三家”(DeepSeek、千問、Kimi)不約而同選擇了 MoE 路徑,而 OpenAI、Anthropic 等美國巨頭仍傾向于稠密模型。黎科峰認(rèn)為,這折射出的是中美兩國在資源約束下的必然選擇:
? 美國路線:核心邏輯是資本驅(qū)動的“大力出奇跡”,通過堆疊芯片和電力維持絕對領(lǐng)先。
? 中國路線:核心邏輯是約束驅(qū)動的“極致性價比”,在算力封鎖和預(yù)算受限的環(huán)境下,通過 MoE 實(shí)現(xiàn)“降維打擊”。
他用一個比喻道出了本質(zhì):"家里有肉吃,為什么要去吃粗糧?"DeepSeek的MoE+FP4+昇騰綁定,不是"最優(yōu)技術(shù)路線",而是"受限環(huán)境下的最優(yōu)解"。
但正是這條"粗糧路線"正在展現(xiàn)出驚人的競爭力。DeepSeek的API定價僅為海外大廠的1/10,讓中國模型在 API 定價上展現(xiàn)出了顛覆性的優(yōu)勢。當(dāng)性能接近、成本差一個量級時,商業(yè)化天平就會發(fā)生傾斜,迫使全球大模型產(chǎn)業(yè)重新思考成本紅線。
06
從模型競賽到系統(tǒng)戰(zhàn)爭
在圓桌的尾聲,三位專家達(dá)成了共識:大模型產(chǎn)業(yè)正從單純的“算力競賽”轉(zhuǎn)向全棧的“系統(tǒng)戰(zhàn)爭”。
黎科峰指出,對于擁有數(shù)萬名員工的科技巨頭,如果全員使用 AI 輔助編程或辦公,Token 成本將是天文數(shù)字。“用得起”本身就是最大的競爭壁壘。DeepSeek 的護(hù)城河,并不在于它比對手聰明多少,而是在于它成功地將 AI 從“少數(shù)人玩得起的奢侈品”,變成了“成千上萬家企業(yè)工具箱里的日用品”。
劉廣分享的案例更令人震撼:在國產(chǎn)算力生態(tài)中,以前編寫一個底層算子需要專家手寫一兩周,現(xiàn)在利用 Agent 輔助只需 10 分鐘。這種效能提升帶來的價值,正反向驅(qū)動著整個國產(chǎn)系統(tǒng)生態(tài)的進(jìn)化。
DeepSeek-V4 的意義在于,它打破了 Scaling Law 只能靠“堆算力、堆參數(shù)”的增長慣性。它證明了:智能的邊界不僅由芯片定義,更由工程師的想象力和工程能力定義。桌子掀翻之后,最重要的不是誰掀的,而是誰能在廢墟上重建一個更便宜、更可控、更具生命力的 AI 秩序。
以下是此次圓桌討論的精彩分享,雷峰網(wǎng)進(jìn)行了不改原意的編輯整理:
▎從“打榜”到“落地”,DeepSeek V4技術(shù)報告解讀
岑峰:各位嘉賓、朋友,大家晚上好。
昨天這個時候,我主持了一場關(guān)于Claw類產(chǎn)品Token焦慮的圓桌。當(dāng)時我們討論了“記憶是資產(chǎn)還是負(fù)債”的命題。緊接著 DeepSeek V4 便震撼發(fā)布,它通過 CSA(壓縮稀疏注意力)與HCA(混合注意力)的混合架構(gòu),將 1M 上下文的 KV Cache 壓低至傳統(tǒng)方案的 2%。
換言之,當(dāng)記憶規(guī)模爆炸,DeepSeek 選擇了“遺忘的藝術(shù)”,并以極高的架構(gòu)復(fù)雜度作為支撐。
回顧其路徑,V2 將 KV Cache 壓縮 90% 以上;V3 以不到 600萬美元訓(xùn)練出 GPT-4o 級別的模型;如今 V4 更是將上下文推理成本、1M 上下文的 KV Cache大幅降低。這種極致效率的領(lǐng)先,正在系統(tǒng)復(fù)雜度、生態(tài)鎖定和能力邊界上埋下深遠(yuǎn)伏筆。
今天我們邀請到三位嘉賓,從效率與代價的角度進(jìn)行拆解并分析:DeepSeek的極致效率意味著什么?中國開源御三家的開源 MoE 路線與西方的稠密模型路線將如何分化?下一個十年的AI基礎(chǔ)設(shè)施如何演變?
按照慣例,我們先請三位嘉賓分享各自視角下對Deepseek技術(shù)報告的深度解讀。
黎科峰:最近很熱鬧,GLM、Kimi、Qwen都發(fā)布了最先進(jìn)的模型,在OpenSource榜單上面輪流坐莊。大家都在等 DeepSeek V4,今天它終于發(fā)布,從 Benchmark表現(xiàn)來看,其綜合感知明顯優(yōu)于此前的開源模型,從股市上來看,DeepSeek概念股今天漲得非常瘋。
這次發(fā)布具有“掀桌子”的意義,核心體現(xiàn)在四點(diǎn):
第一,真開源。DeepSeek 依然堅(jiān)持最開放的 MIT 協(xié)議,不設(shè)商業(yè)化限制。在其他幾家大模型紛紛加碼開源“枷鎖”的背景下,這種堅(jiān)持極為不易。
第二,V4 徹底適配了華為昇騰芯片并支持 FP4 精度。這標(biāo)志著大模型從訓(xùn)練到推理真正實(shí)現(xiàn)了中國自主安全可控的閉環(huán)。
第三,價格。隨著 OpenClaw 等 Agent 產(chǎn)品的火爆,Token 消耗量呈十倍級增長。海外閉源模型的高昂價格讓開發(fā)者難以承受,而DeepSeek 將價格壓到了 25 元人民幣/百萬 Token, Flash 版本更便宜,十倍量級。這極大促進(jìn)了多 Agent 生態(tài)的落地。
最后,在關(guān)鍵能力上也有不俗表現(xiàn), V4的亮點(diǎn)不僅在于降本,更在長上下文、數(shù)學(xué)及代碼能力上部分反超了海外領(lǐng)先的閉源模型。尤其是編程能力的提升,為大模型的應(yīng)用生態(tài)拓展了巨大的空間。
完全開源、低成本、接近世界領(lǐng)先、完整國產(chǎn)化軟硬件生態(tài),這四個核心點(diǎn)放在一起,既好又有用,而且還便宜。
劉廣:DeepSeek V4 的發(fā)布正值大模型從“打榜”轉(zhuǎn)向“落地”的范式拐點(diǎn)。當(dāng)前 Agent 架構(gòu)盛行,產(chǎn)業(yè)界最核心的關(guān)切已聚焦于長上下文的處理能力與綜合推理成本。
在技術(shù)架構(gòu)上,V4 展現(xiàn)了極致的效率優(yōu)化。其最顯著的突破在于實(shí)現(xiàn)了混合精度訓(xùn)練:在專家層(Expert)使用 FP4 精度,其余部分采用 FP8。這種精度的跨越不僅大幅提升了訓(xùn)練效能,在推理側(cè)也通過顯著壓縮 KV Cache 開銷,極大地降低了計算量與延遲。以往這類低精度支持高度依賴英偉達(dá)生態(tài),但 V4 證明了國產(chǎn)芯片已能逐步適配混合精度量化的訓(xùn)練與推理。這預(yù)示著國產(chǎn)算力將真正具備支撐超低成本推理場景的能力。
當(dāng)然,國產(chǎn)生態(tài)在先進(jìn)算法適配上仍存挑戰(zhàn)。DeepSeek 同步發(fā)布的 Tylan 庫,以及智源支持 8 款國產(chǎn)芯片的 FlagOpen 平臺,都在致力于打破這一瓶頸。我們關(guān)注的重點(diǎn)是“系統(tǒng)智能”——即利用 AI 能力反哺底層基礎(chǔ)設(shè)施。
在國產(chǎn)芯片的算子適配中,我們已開始利用 Agent 自動化工具完成復(fù)雜算子的精度對齊與調(diào)優(yōu)。這種“模型能力提升帶動底層系統(tǒng)優(yōu)化”的加速循環(huán),將是未來的主流方向。DeepSeek V4 通過開源方案大幅壓低 Token 成本,為整個國產(chǎn)算力生態(tài)向極致效能演進(jìn)提供了關(guān)鍵牽引。
楊澤乾:DeepSeek V4 技術(shù)報告中最令人震撼的突破,首先在于其對注意力機(jī)制的革命性優(yōu)化。長期以來,Transformer 架構(gòu) O(n^2)的計算復(fù)雜度始終是長序列處理的瓶頸。雖然業(yè)內(nèi)在探索 Mamba 等新架構(gòu),但其成熟度尚不及“MoE + Transformer”組合。此次V4 通過 CSA(壓縮稀疏注意力)與 HCA(重度壓縮注意力)的交替式設(shè)計,將 KV Cache 極致壓縮至傳統(tǒng)方案的 2%,使計算復(fù)雜度從O(n^2) 降至接近線性。這標(biāo)志著百萬級長文本從此前的“高門檻消耗”轉(zhuǎn)變?yōu)榈统杀镜摹叭沼闷贰薄?/p>
其次是異構(gòu)算力環(huán)境下的訓(xùn)練穩(wěn)定性。針對在華為昇騰、華虹等國產(chǎn)算力底座上進(jìn)行大規(guī)模預(yù)訓(xùn)練的挑戰(zhàn),V4 引入了 Break-off 投影與 ThinkingHorn迭代方案,實(shí)現(xiàn)了國產(chǎn)算力底座上的不停機(jī)穩(wěn)定預(yù)訓(xùn)練。同時,針對 MoE 架構(gòu),V4 利用 Ingram 機(jī)制有效解決了“模型越大、推理越慢”的行業(yè)悖論。
當(dāng)然,追求極致效率必然帶來技術(shù)取舍。報告中提到了長文本的遺忘性,不會像Claude或Gemini的超長文本準(zhǔn)確性那么強(qiáng),一定長度之后存在邏輯斷層和精度損失,這是對極致效率追求的取舍。
此外,為了壓低成本,V4的架構(gòu)變得極其復(fù)雜,這在后續(xù)的推理極致優(yōu)化以及跨平臺遷移上,增加了額外的工程成本。但總體而言,這些取舍并未掩蓋DeepSeek V4 在國產(chǎn)算力約束下所展現(xiàn)出的卓越技術(shù)含金量。
▎掀桌子、RL 暴力涌現(xiàn)、OPD 工程權(quán)衡,Deepseek技術(shù)哲學(xué)的進(jìn)化
岑峰:剛才三位老師從不同視角分享了 DeepSeek V4 的架構(gòu)演進(jìn)。楊老師最后提到的“取舍”非常關(guān)鍵。從 V2 到 V4,DeepSeek不斷證明用更少的資源可以實(shí)現(xiàn)更強(qiáng)的性能。但正如業(yè)界所言,極致的省錢往往伴隨著系統(tǒng)復(fù)雜度的代價。接下來的核心討論,我們將聚焦 DeepSeek 這種效率優(yōu)先的技術(shù)路線。
請教黎科峰老師:DeepSeek 的歷次發(fā)布常被評價為“掀桌子”。從V2、V3、R1 到現(xiàn)在的 V4,您認(rèn)為每一次“掀桌子”有什么不同?它們掀翻的是同一張桌子,還是開啟了不同的秩序?
黎科峰:“掀桌子”這個詞雖然被多次使用,但 V4 與往屆確實(shí)有顯著區(qū)別:
去年的 DeepSeek R1 解決的是“從 0到 1”的問題,它首次在開源界大規(guī)模實(shí)現(xiàn)了思維鏈(CoT)推理,讓全球看到中國團(tuán)隊(duì)能以極低成本做出媲美閉源模型的效果。那是從無到有的驚喜。
而此刻的 V4 面臨的競爭格局截然不同。在 V4 發(fā)布前,GPT-5.5、Gemini 1.2 Pro 及國產(chǎn)的 GLM、Kimi、千問等已經(jīng)輪番“坐莊”,已經(jīng)有四波了。V4的壓力在于:如果你發(fā)布后的表現(xiàn)不如對手,那么“掀桌子”就無從談起。
經(jīng)過初步測試,我們發(fā)現(xiàn) V4 的表現(xiàn)非常堅(jiān)挺,尤其在編程能力上, DeepSeek 早期就主打 Coding,但在此之前,大家在嚴(yán)肅的工業(yè)級場景中仍傾向于使用海外閉源模型。現(xiàn)在V4 的 Coding能力已經(jīng)達(dá)到了可以作為生產(chǎn)力工具直接創(chuàng)造 AI 產(chǎn)品的水平,這是其能力的重大補(bǔ)齊。
另一個重要意義是擺脫 CUDA 生態(tài)的限制,智源等機(jī)構(gòu)一直在推動國產(chǎn)算力生態(tài)(如 FlagOS 聯(lián)盟),但由于模型廠商對 NVIDIA生態(tài)的路徑依賴,推進(jìn)難度極大。DeepSeek 此次通過深度適配昇騰芯片豎起了一面旗幟,在技術(shù)框架層面開辟非 CUDA 路徑,這種“掀桌子”是對算力底層壁壘的直接挑戰(zhàn),也是我最為看重的。
另一個加分項(xiàng),Deepseek始終堅(jiān)持開源初心,在友商紛紛收緊開源協(xié)議,如將 MIT 改為受限協(xié)議時,DeepSeek依然保持全值開放、無商業(yè)限制。這種價值觀的穩(wěn)定性在當(dāng)前的產(chǎn)業(yè)環(huán)境下極具殺傷力。
岑峰:桌子掀翻之后重要的不是誰掀的,而是誰能夠在廢墟上面重新建立新的秩序。接下來想請教劉廣老師一個技術(shù)問題:R1 曾憑借 30 萬美元的純強(qiáng)化學(xué)習(xí)(RL)涌現(xiàn)推理能力,震驚全球并登上《Nature》封面。但最新的 V4 技術(shù)報告顯示,其后訓(xùn)練階段已放棄純RL 路徑,轉(zhuǎn)而采用 OPD(在線策略蒸餾)。這種路線轉(zhuǎn)變是否意味著純 RL 的泛化邊界已經(jīng)顯現(xiàn)?
劉廣:您這個問題問得非常好。最近強(qiáng)化學(xué)習(xí)的路線一直在討論非常多,agent RL構(gòu)建新的環(huán)境腳手架,基于環(huán)境結(jié)合去做強(qiáng)化學(xué)習(xí)訓(xùn)練,認(rèn)為可以做真實(shí)生產(chǎn)環(huán)境的問題解決。DeepSeek又走了另外一條路徑。
大模型是由數(shù)據(jù)、算法、算力這“三駕馬車”驅(qū)動的。您剛才問的就是算法改進(jìn),但我看到它在數(shù)據(jù)上也做了很多突破,在硬件上也做了很多突破,主要突破點(diǎn)其實(shí)就是效率。DeepSeek一貫的風(fēng)格就是把整個訓(xùn)練的效率達(dá)到一個非常極致的狀態(tài)。
從 Scaling Law來看,DeepSeek 早在早期模型中就通過精確擬合找到了高數(shù)據(jù)效率的平衡點(diǎn),從而將更多算力投入到參數(shù)規(guī)模的擴(kuò)展上。此次V4 將數(shù)據(jù)規(guī)模從 14.8T 擴(kuò)展到 30+T,參數(shù)規(guī)模也從 600B 增加到 1.6T。放棄純 RL 轉(zhuǎn)向 OPD,實(shí)際上是 DeepSeek 在追求極致訓(xùn)練效率下的必然選擇。這種路徑為國產(chǎn)生態(tài)提供了巨大的信心。
智源推出的 FlagOS也是希望通過軟件層面的適配支持多元國產(chǎn)芯片。DeepSeek 的示范作用,能牽引更多人關(guān)注國產(chǎn)算力的極致效能優(yōu)化。在實(shí)操中我們發(fā)現(xiàn),這種FP4+FP8 的混合精度訓(xùn)練對轉(zhuǎn)換精度非常敏感。如果要在國產(chǎn)算力上用 INT8 或 BF16跑這些權(quán)重,轉(zhuǎn)換過程中的精度損失是當(dāng)前生態(tài)面臨的重要挑戰(zhàn)。我們將開放這些經(jīng)驗(yàn),助力全行業(yè)解決國產(chǎn)芯片的適配難題。
岑峰:順著劉老師的回答,我想進(jìn)一步請教楊澤乾老師:DeepSeek 后訓(xùn)練哲學(xué)的轉(zhuǎn)變,是否在為早期追求極致效率而產(chǎn)生的架構(gòu)債“還債”?
楊澤乾:您這個問題問得非常專業(yè)且技術(shù)。我認(rèn)為V4 采用 OPD 并非放棄強(qiáng)化學(xué)習(xí),而是一種更務(wù)實(shí)的工程權(quán)衡。
R1當(dāng)時出來證明的是純強(qiáng)化學(xué)習(xí)方式能夠涌現(xiàn)模型能力的上限,但中間是不可控的,CoT思維鏈以及算力消耗都不可控。V4的OPD方式,也就是在線策略蒸餾,采用的是分布式專家的培養(yǎng)模式:先針對數(shù)學(xué)、代碼、agent執(zhí)行這些領(lǐng)域去獨(dú)立訓(xùn)練專家,用SFT和RL的方式訓(xùn)練,然后再將這些領(lǐng)域的知識蒸餾到統(tǒng)一的學(xué)生模型中。
這個方式并不是放棄了RL技術(shù)路線,而是把強(qiáng)化學(xué)習(xí)放到了專家培養(yǎng)的階段,而在整體專家模型的集成階段,選擇了一種更高效、更穩(wěn)定的蒸餾方式。這樣比較好地解決了DeepSeek V4這種萬億級模型在多任務(wù)場景下的性能退化問題。
▎長上下文與檢索,實(shí)用主義 vs. 完美主義
岑峰:謝謝楊老師。第一輪討論勾勒出一個清晰的脈絡(luò):DeepSeek的效率至上既是工程能力的勝利,也是特定約束下的生存策略。每一次領(lǐng)先確實(shí)都有代價,但每一次里程碑都看到了DeepSeek在不同層面上的嘗試。這有點(diǎn)像喬布斯說的連點(diǎn)成畫,從不同的點(diǎn)進(jìn)行嘗試,最后形成一幅完整的畫面。
接下來我們將進(jìn)入第二輪:百萬上下文時代的技術(shù)路線之爭。長上下文已從“炫技參數(shù)”轉(zhuǎn)變?yōu)椤盎A(chǔ)設(shè)施”,DeepSeek V4等主流大模型紛紛升級至百萬級(1M)上下文。請教黎科峰老師,為何長上下文會成為當(dāng)前大模型競爭的焦點(diǎn)?
黎科峰:競爭的核心動力在于應(yīng)用驅(qū)動。過去 DeepSeek 在應(yīng)用層相對后覺,更關(guān)注 AGI 理想,而千問、字節(jié)、GLM 及 Minimax 等廠商早已通過APP 和開發(fā)者生態(tài)搶占灘頭。
這一年的變革極快。Manus 定義了 Agent 的自主規(guī)劃與工具調(diào)用模式,而 OpenClaw 則像是一個智能體版的 APP Store。這些復(fù)雜任務(wù)的處理需要長時記憶支撐。當(dāng) Agent組合多種能力處理長程任務(wù)時,拼出的 Prompt極其復(fù)雜,這對長上下文的連接能力提出了硬性要求。
DeepSeek V4的升級是補(bǔ)齊短板的重要一步。雖然它在應(yīng)用層起步較晚,但這次發(fā)布顯示其正反向通過應(yīng)用需求推動模型演進(jìn)。大模型不再是舞臺中央的唯一主角,而是“搭臺子”的基礎(chǔ)設(shè)施,唱戲的是百花齊放的專家Agent。百萬級上下文是這個“臺子”最關(guān)鍵的基石。
岑峰:報告顯示 DeepSeek 在 128K 后的檢索性能有所衰減。請教楊老師,對比 Google Gemini 的原生長窗、OpenAI的o 系列推理加速及 Claude 的可控長文本,DeepSeek 這種極致壓縮路徑的優(yōu)劣勢是什么?
楊澤乾:這四家目前全球 Token 調(diào)用量前四的廠商,在長文本策略上各具特色:DeepSeek V4是實(shí)用主義,通過 CSA+HCA 極致壓縮 KVCache,大幅降低顯存壓力。其優(yōu)勢是極低成本與百萬級長度,適用于大規(guī)模代碼重構(gòu)、架構(gòu)分析及超長文檔總結(jié)。代價是全局高密度檢索性能會有所下降,且MoE 架構(gòu)在處理跨領(lǐng)域知識融合時,穩(wěn)定性稍遜于稠密模型。
Claude的路線屬于完美主義,追求最小化壓縮以保持信息完整。優(yōu)勢是檢索精度和可控性行業(yè)頂尖,處理多任務(wù)調(diào)用能力極強(qiáng)。代價是成本最高,且在需要全局注意力時,速度必然受限。它更適合法律、醫(yī)療等高信息密度、對嚴(yán)謹(jǐn)性要求極高的場景。
OpenAI則是全面主義, 走漸進(jìn)擴(kuò)展+推理模型優(yōu)化路線。優(yōu)勢在于跨模態(tài)能力強(qiáng)(如 GPT-4.6/5.4),通過 o系列模型專門優(yōu)化復(fù)雜邏輯推理。然而,其成本極其昂貴,如剛發(fā)布的 GPT-5.5輸出價格高達(dá) 130 美元/百萬 Token,與 DeepSeek 形成鮮明對比。
Google Gemini屬于二者的均衡折中,堅(jiān)持原生架構(gòu)支持長上下文,不依賴算法壓縮。優(yōu)勢在于高密度知識檢索能力強(qiáng),工程結(jié)構(gòu)簡單,全局一致性好。缺點(diǎn)是硬件成本極高,架構(gòu)靈活性有限,主要適應(yīng)通用問答場景。
總結(jié)來說,DeepSeek 是以效率優(yōu)先解決“能用、好用”的問題;Claude 追求極致精度;OpenAI 覆蓋全高端場景;Gemini則在精度與成本間尋找平衡點(diǎn)。
岑峰:DeepSeek V4 與硬件深度綁定,請教劉廣老師,這種“極致壓縮+低比特量化”是否會形成硬件的技術(shù)壁壘?跨平臺遷移是否會面臨性能損失?
劉廣:DeepSeek 的量化策略確實(shí)與硬件存在較強(qiáng)的協(xié)同關(guān)系,但這并非不可逾越的屏障。
智源 FlagOS 團(tuán)隊(duì)曾嘗試進(jìn)行“反量化”,將低比特權(quán)重升維至 FP16 或BF16。技術(shù)上是可行的,但坑在于量化精度對操作順序極敏感,反量化過程中可能出現(xiàn)精度誤差。
目前的長上下文技術(shù)其實(shí)才走了一半。雖然我們能讓模型“記住”1M 甚至更長的信息,但這只是暫時的記憶。AGI 的核心能力是持續(xù)學(xué)習(xí),即模型應(yīng)隨環(huán)境交互改變其權(quán)重,而不僅僅是堆砌上下文。
在生態(tài)側(cè),長上下文為國產(chǎn)芯片帶來了差異化機(jī)會。例如當(dāng)前流行的 PD 分離(Prefilling 與 Decoding分離)技術(shù),有些國產(chǎn)芯片適合做預(yù)填充,有些適合做推理。智源也在布局異構(gòu)通信等底層技術(shù),支持在國產(chǎn)算力上實(shí)現(xiàn)長文本推理。總體來看,這種技術(shù)路線的演進(jìn)正在衍生出大量新的機(jī)會。
▎MoE 的精打細(xì)算 vs. 稠密模型的擴(kuò)張
岑峰:除了長上下文,大模型領(lǐng)域另一個顯著的路線分歧在于MoE(混合專家模型)與稠密模型。
目前,國內(nèi)“開源御三家”(DeepSeek、千問、Kimi)均選擇了MoE 路線,而西方巨頭(OpenAI、Anthropic、Google)則在主力模型上依然傾向于稠密模型。黎老師,在 Agent 時代,這兩條路線將如何演化?MoE與稠密模型之間是否存在相互學(xué)習(xí)的空間?
黎科峰:中美技術(shù)選型的差異,本質(zhì)上是不同資源約束下的必然結(jié)果。
對于國內(nèi)團(tuán)隊(duì)而言,技術(shù)選型面臨著“芯片封鎖”與“預(yù)算受限”的雙重壓力。我們必須在算力供給并不充裕、硬件性能稍遜于 NVIDIA頂尖產(chǎn)品的環(huán)境下,通過軟硬一體化優(yōu)化出極致性能。這就迫使我們走向 MoE這種“精打細(xì)算”的路線。
反觀美國,雖然現(xiàn)在也面臨電力和基建的瓶頸,但其核心邏輯依然是資本驅(qū)動的大手大腳:通過堆疊更多的參數(shù)、購買更多的芯片來維持領(lǐng)先,形成了一套資本與算力綁定的游戲。
我認(rèn)為中美的這種分化將長期存在,且各有勝場。
中國大模型會在成本維度形成“降維打擊”: 當(dāng)國產(chǎn)模型的成本只有美國的 1/10,且性能差距縮減到毫厘之間時,這種成本優(yōu)勢是極其恐怖的。
不過,二者目標(biāo)設(shè)定也差異:中國團(tuán)隊(duì)的目標(biāo)非常清晰——通過開源和極致性價比實(shí)現(xiàn)“彎道超車”。這并不是說美國企業(yè)不懂低精度訓(xùn)練或極致壓縮,而是他們的戰(zhàn)略目標(biāo)不在于此。
最終,這兩條路徑會根據(jù)使用場景進(jìn)行市場細(xì)分:追求極致精度、不計成本的場景屬于一類;而追求高性價比、大規(guī)模普及的場景則屬于另一類。DeepSeek在極度受限的條件下優(yōu)化出的非 CUDA 生態(tài)路徑,讓我們看到了打破壟斷的希望。
岑峰:我們注意到,在針對復(fù)雜編程任務(wù)的評測(如 SWE Pro)中,DeepSeek V4(55.4%)略遜于稠密模型Claude 4.5(57.3%)。這是否說明 MoE 的專家分工模式,在需要長程規(guī)劃和高度統(tǒng)一表征的 Agent 任務(wù)中,不如稠密模型穩(wěn)健?
楊澤乾:MoE 架構(gòu)在處理復(fù)雜 Agent 任務(wù)時,確實(shí)面臨“連貫性”的天然挑戰(zhàn)。
以 DeepSeek V4 為例,其總參數(shù)量高達(dá) 1.6T,但單個 Token僅激活其中的 49B(約 3%)。這種動態(tài)路由機(jī)制雖然能以更小的計算量處理海量參數(shù),但無法像稠密模型那樣讓每一個Token 都經(jīng)過全部參數(shù)的統(tǒng)一處理,容易導(dǎo)致在長程任務(wù)中出現(xiàn)邏輯斷層。
但 MoE 并非決定性因素。例如 Kimi K2.6 同樣采用 MoE 架構(gòu),但在部分測試中卻優(yōu)于某些稠密模型。DeepSeek V4在特定數(shù)據(jù)集上的劣勢,更多是其在效率與成本間進(jìn)行極致取舍的結(jié)果。
目前,行業(yè)優(yōu)化 MoE 應(yīng)對長程任務(wù)的思路主要有三條:
1. 改進(jìn)路由機(jī)制: 采用更智能的專家選擇策略,減少路由切換頻率,維持任務(wù)狀態(tài)。
2. 強(qiáng)化專家間信息共享: 提升專家網(wǎng)絡(luò)對全局任務(wù)目標(biāo)的共識。
3. 針對性強(qiáng)化學(xué)習(xí): 在訓(xùn)練階段專門對長程任務(wù)進(jìn)行 RL 優(yōu)化,彌補(bǔ)架構(gòu)帶來的連貫性損失。
岑峰:劉老師,如楊老師所言,MoE在Agent任務(wù)上存在"連貫性瓶頸",而Agent正是2026年大模型最重要的落地場景,MoE路徑未來還有哪些可能的演進(jìn)來解決這個問題?
劉廣:針對 MoE 路線的演進(jìn),我認(rèn)為未來有兩個極具價值的研究方向。
首先是極致的稀疏化。DeepSeek 成功的關(guān)鍵在于將 MoE的粒度做得極細(xì)。細(xì)粒度專家雖然帶來了系統(tǒng)通信的挑戰(zhàn),但也極大提升了模型表征的靈活性。DeepSeek幾乎把所有的稀疏化技術(shù)都用上了:稀疏注意力、稀疏 MoE,甚至是基于分布式表示的 N-gram。
這種稀疏化不僅能提升效率,還能幫助模型進(jìn)行“感知量化訓(xùn)練”。如果模型足夠稀疏,我們就可以通過剪枝去掉大量權(quán)重而幾乎不影響性能,甚至可以實(shí)現(xiàn)將多個不同領(lǐng)域的專家蒸餾到一個統(tǒng)一模型中的“后訓(xùn)練范式”。
其次是打開 Transformer 的“黑盒”。過去我們將 Transformer視為不可拆解的整體,但現(xiàn)在的趨勢是將其細(xì)分、拆碎。通過觀測訓(xùn)練過程中哪些環(huán)節(jié)的值不穩(wěn)定,進(jìn)行針對性的架構(gòu)改進(jìn)(如MHC 優(yōu)化),讓訓(xùn)練變得更穩(wěn)健、更高效。
這種從理論機(jī)理出發(fā),結(jié)合極致工程實(shí)踐的路徑,不僅能提升訓(xùn)練效率,更能讓我們深入理解大模型的運(yùn)行機(jī)制。
▎從省錢到賺錢的未來思考
岑峰:剛才三位老師深入探討了長上下文、MoE 與稠密模型的優(yōu)劣。我們達(dá)成了一個共識:在百萬上下文和 Agent時代,并沒有唯一的“正確答案”。DeepSeek走的是極致性價比的壓縮路線,但在記憶完整性和連貫性上仍有挑戰(zhàn);而海外巨頭如Anthropic 走完美主義路線,OpenAI 走全面路線,Google 走原生平衡路線。
最終,技術(shù)路線的差異要回歸商業(yè)本質(zhì):DeepSeek 這種“省錢”的能力,能否轉(zhuǎn)化成“賺錢”的能力?大模型產(chǎn)業(yè)是否正從“模型競賽”轉(zhuǎn)向“系統(tǒng)戰(zhàn)爭”?請教黎老師,您如何看待這幾種路線在商業(yè)化能力上的潛力?
黎科峰:技術(shù)領(lǐng)域從未有“一招鮮吃遍天”的方案,大模型最終會進(jìn)入細(xì)分領(lǐng)域的深度競爭。例如,Claude 強(qiáng)在 Coding,GPT強(qiáng)在圖像與綜合推理,豆包強(qiáng)在多模態(tài)。DeepSeek 則聚焦文本處理,這是一種戰(zhàn)略上的克制。
關(guān)于商業(yè)化,我認(rèn)為可以從兩個維度看:
首先,成本是商業(yè)化的生命線。就像汽車行業(yè),豪華品牌固然存在,但真正統(tǒng)治市場的是豐田、大眾這類大眾化品牌。性價比永遠(yuǎn)是大規(guī)模商業(yè)化中最重要的環(huán)節(jié)。目前Claude Opus 等高端模型的開銷,即使是對擁抱 AI 的企業(yè)來說也感到沉重的壓力,更遑論未來數(shù)萬名員工全員 AI 化后的開銷。因此,Token成本持續(xù)下探是行業(yè)必然。
從技術(shù)理想主義與長期主義的維度,DeepSeek比較特殊,其創(chuàng)始人梁文峰現(xiàn)階段表現(xiàn)出了極強(qiáng)的技術(shù)理想主義,更關(guān)注如何把東西做成世界最好,而非過早商業(yè)化。這種“厚積薄發(fā)”的策略,在國產(chǎn)軟硬一體化優(yōu)化的背景下,可能對閉源大廠產(chǎn)生巨大的沖擊。當(dāng)性能接近、成本僅為對方 1/10時,這種優(yōu)勢是顛覆性的。
岑峰:極致效率、通用能力與落地穩(wěn)定性,往往難以兼得。對于企業(yè)客戶和開發(fā)者,未來的模型選型標(biāo)準(zhǔn)會發(fā)生什么變化?哪種路線具備更長期的生命力?
楊澤乾:我認(rèn)為大模型選型的判斷標(biāo)準(zhǔn),正從單一的“模型有多聰明”轉(zhuǎn)向“系統(tǒng)效能的綜合評估”。主要看三個核心指標(biāo):
1. 成本可控性: 企業(yè)關(guān)注的不只是單次推理費(fèi)用,而是當(dāng)業(yè)務(wù)規(guī)模擴(kuò)大 100 倍、完全 Agentic化之后,成本曲線是否能維持線性。在這一維度,極致效率路線具有壓倒性優(yōu)勢。
2. 能力的確定性:開發(fā)者在核心場景中更看重模型的穩(wěn)定性、可預(yù)測性和可解釋性。一個全能但“黑盒”且不可控的模型,其價值往往不如一個在垂直任務(wù)中表現(xiàn)穩(wěn)健的專用模型。
3. 生態(tài)與部署的敏捷性: 能否快速集成到現(xiàn)有業(yè)務(wù)、能否在自有硬件上運(yùn)行、出故障后是否有成熟的社區(qū)支持,這些都決定了落地的速度。
DeepSeek 走的是普適化邏輯:通過 10% 的能力差距換取 10 倍以上的成本優(yōu)勢,將 AI能力變成成千上萬中小企業(yè)和開發(fā)者工具箱里的“日用品”,從而成為像水和電的行業(yè)基礎(chǔ)設(shè)施。而OpenAI等大廠走的是頂尖產(chǎn)品邏輯,為失敗容忍度極低、對成本不敏感的高風(fēng)險場景提供不可替代的、最可靠的解決方案。未來市場會明顯分層,絕大多數(shù)商業(yè)場景將流向性價比更高的實(shí)用模型。
岑峰:劉老師,楊老師提到了系統(tǒng)生態(tài)的建設(shè)。未來 AI 廠商的核心競爭力,是否會從單純的算法研發(fā)轉(zhuǎn)向全棧的系統(tǒng)工程能力?
劉廣:這確實(shí)是大勢所趨。單一模型的能力存在局限,必須通過系統(tǒng)化(Agentic 系統(tǒng))來擴(kuò)展其邊界。
目前許多大廠已將原有的中臺能力轉(zhuǎn)化為工具或 MCP(模型上下文協(xié)議)接口。此次 DeepSeek V4 的發(fā)布,結(jié)合 Claude Code等開源/閉源腳手架,將極大加速這一過程。企業(yè)只需對模型權(quán)重進(jìn)行微調(diào),即可將其接入真實(shí)業(yè)務(wù)流程,產(chǎn)生實(shí)際產(chǎn)出。
分享一個我們的實(shí)踐:在國產(chǎn)算力生態(tài)中編寫算子。以前依賴專家手工編寫,周期長達(dá)一至兩周。現(xiàn)在利用 Agent 輔助,只需 10 到 20分鐘即可生成高質(zhì)量算子,并在國產(chǎn)芯片上順暢運(yùn)行。這種方式將人力成本從數(shù)千元降低到幾十元的 Token費(fèi)用,這種價值的體現(xiàn)會反向驅(qū)動整個系統(tǒng)層面的進(jìn)化。DeepSeek V4 第二次加速了 AI 輔助產(chǎn)業(yè)重塑的進(jìn)程。
岑峰:今天的討論從 V2 談到 V4,從 MLA 架構(gòu)談到 CSA+HCA 注意力機(jī)制,從“掀翻價格桌子”談到“重構(gòu)基礎(chǔ)設(shè)施”。DeepSeek用四年時間證明:效率本身就是核心競爭力。
正如三位老師所言,在 Agent 時代,大模型面臨著對連貫性、可控性和商業(yè)可持續(xù)性的新考量。每一筆“省下的錢”背后都有復(fù)雜度的代價,但 DeepSeek最大的價值在于,它打破了 Scaling Law 只能靠堆算力和堆參數(shù)的慣性。智能的邊界不僅由芯片定義,更由工程師的想象力和工程能力定義。
桌子掀翻之后,最重要的不是誰掀的,而是誰能在廢墟上重建更便宜、更可控、更具生態(tài)生命力的秩序。至于未來格局如何,我們 2027年再見分曉。
Youtube鏈接:https://youtu.be/BgsVyoJTDEw
這次去 CVPR 現(xiàn)場,一定不要錯過
【認(rèn)識大牛+賺外快】的機(jī)會
需要你做什么:把你最關(guān)注的10個大會報告,每頁P(yáng)PT都拍下來
你能獲得什么?
認(rèn)識大牛:你將可以進(jìn)入CVPR名師博士社群;
錢多活少:提供豐厚獎金,任務(wù)量精簡;
聽會自由:你的行程你做主,順手就把外快賺。拍下你最感興趣的10個報告PPT即可。
如果你即將前往CVPR,想邊聽會邊賺錢,還能順便為AI學(xué)術(shù)社區(qū)做貢獻(xiàn)、認(rèn)識更多大牛,歡迎聯(lián)系我們:[添加微信號:MS_Yahei]
【限額5位,先到先得】
未經(jīng)「AI科技評論」授權(quán),嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載!
公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán),轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.