前谷歌TPU架構師：AI 的真瓶頸不是算力，而是存儲

引言

這場兩小時的訪談里，Reiner Pope 在黑板上一步一步把訓練和推理背后的物理學推了出來。他的判斷對理解 AI 產(chǎn)業(yè)鏈——尤其是芯片、內(nèi)存、互聯(lián)設備——非常關鍵。

但原文非常艱深，普通讀者讀起來會很疲勞。

所以這篇文章在不改變 Reiner 任何原意的前提下，做兩件事：

第一，用大白話重新表達。 第二，從投資視角提煉重點。

文章按三段展開：現(xiàn)在是什么情況、底層原理是什么、未來會影響到哪些產(chǎn)業(yè)。

一、先用一句話講清楚

Reiner 這場講座最核心的判斷是：

AI 真正的瓶頸不是算力，是搬數(shù)據(jù)的速度。這個瓶頸短期內(nèi)沒有解。

如果你只想記住一件事，就是這一句。后面幾乎所有的產(chǎn)業(yè)含義都是從這里推出來的。

為什么這件事重要？因為整個 AI 產(chǎn)業(yè)鏈的錢往哪流、誰吃肉誰喝湯，取決于"瓶頸在哪里"。如果瓶頸是算力，那 GPU 廠家是絕對贏家；如果瓶頸是搬數(shù)據(jù)，那錢會被另一撥公司分走——HBM 內(nèi)存、機架間的互聯(lián)、線纜、交換機、液冷、電源。

而 Reiner 給出的答案非常明確：瓶頸是后者。這是他從大廠的資本支出結構里能直接看出來的——按業(yè)內(nèi)估計，他們今年大約一半的錢都花在內(nèi)存上。

二、算力夠用了，缺的是「搬運工」

要理解為什么算力不缺、內(nèi)存才缺，先打個比方。

把 GPU 想象成一個超級會算賬的會計。給他一摞賬本（模型參數(shù)），他能很快算完。問題是：賬本不在他手邊，存在倉庫里。每次要算賬，都得有人把賬本從倉庫搬到他桌上，他算完再放回去。

這里有兩個時間：

• 算賬時間：會計算多快
• 搬運時間：賬本來回搬多慢

過去幾年大家都在拼命讓會計算得更快——這就是 GPU 算力的提升。但 Reiner 在黑板上算了一筆賬：搬運速度漲得沒那么快，反而成了瓶頸。

具體一點：

NVIDIA 每代 GPU 的算力大約翻一倍，內(nèi)存帶寬（搬運速度）也大約翻一倍，所以"算力 ÷ 帶寬"這個比值很多年來一直穩(wěn)定在300左右。這意味著會計每收到一份賬本，得算大約300次才劃算——否則搬運的時間比算賬還長，會計大半時間在等數(shù)據(jù)。

那怎么辦？答案是批量處理——一次把許多用戶的請求放在一起算，讓一份賬本被反復使用。這就是為什么云廠商愿意把成百上千個用戶擠在同一次推理里：搬一次賬本，算2000個用戶的題。單看，這能把成本壓低到不批量處理時的千分之一。

理解了這一層，才能就理解 ChatGPT、Claude、Gemini 這些產(chǎn)品的整個商業(yè)模式：它們的低價不是給每個人的補貼，是物理學上能實現(xiàn)的。

這件事的第一個投資含義

HBM 內(nèi)存是 AI 產(chǎn)業(yè)鏈最確定的長期需求。

Reiner 在播客里直接講：行業(yè)里 Hyperscaler 把一半的資本支出花在內(nèi)存上，這是真實發(fā)生的。智能手機內(nèi)存今年漲價、消費電子銷量被壓低，原因之一就是 AI 廠商在搶內(nèi)存。

而且他強調(diào)一句很重的話：「HBM 沒有什么大的好轉(zhuǎn)空間」——意思是，這個供需緊張不是臨時的，是結構性的。

所以圍繞 HBM 的供應鏈——上游的存儲顆粒原廠、HBM 封裝、相關測試設備——都屬于這個長期敘事的一部分。這一點不需要太多想象力。

三、機架越大越值錢：真正的護城河升級

第二個反直覺的事實：單卡再強，也敵不過把更多卡塞進同一個機架。

為什么？這要從 MoE（Mixture of Experts，混合專家）模型說起。

MoE 是當前主流的模型架構（DeepSeek、Gemini、傳聞里的 GPT-5都是這種結構）。它的工作方式是：模型里有一堆"專家"，每來一個 token，路由器決定把它發(fā)給其中幾個專家處理。比如 DeepSeek 有256個專家，每次只激活32個。

這種結構有個麻煩：任何一個 GPU 都可能要把數(shù)據(jù)發(fā)給任何一個其他 GPU。這種「人人對人人」的通信模式，對網(wǎng)絡要求極高。

NVIDIA 的解決方案是：把許多 GPU 裝在同一個機架里，機架內(nèi)部用一種叫 NVLink 的高速通道互聯(lián)。機架內(nèi)部通信很快，機架之間的通信要慢8倍。

所以工業(yè)實踐里有一條鐵律：MoE 模型的整個專家層必須裝在同一個機架內(nèi)。一旦跨機架，速度就崩了。

這就解釋了為什么 NVIDIA 這幾年的真正進步，不是單卡 GPU 的算力，而是機架的擴容：

Reiner 說，從 Hopper 到 Blackwell 的跳躍，主要是產(chǎn)品決策（把"托盤"改成"機架"形態(tài)）；但從 Blackwell 到 Rubin 這一跳，是真正的物理工程突破。

為什么不能直接做更大的機架？

這里有個被低估的事實。Reiner 在播客里講：現(xiàn)代機架的邊界不是"放不下更多 GPU"，而是幾個物理約束同時拉滿：

• 供電：每機架的電力密度
• 散熱：液冷的極限
• 重量：金屬支架要承受幾噸設備，但加金屬又會更重
• 線纜密度：這是最容易被忽視的一項

最后一點很關鍵。機架里看似空間充足，但要把500個 GPU 互聯(lián)起來需要拉的線纜數(shù)量、走線密度、彎折半徑，已經(jīng)接近物理極限。

Reiner ："前沿 AI 集群目前最硬的瓶頸之一，是線材怎么布。"

這件事的第二個投資含義

機架升級這個故事，受益的不只是 NVIDIA 自己。整個機架的物料供應鏈都在被重新定義：

• 互聯(lián)：機架內(nèi)的高速銅纜和連接器
• 交換機：用于把更多 GPU 串起來的網(wǎng)絡芯片
• 機架機械：能撐住幾噸重量、有足夠走線密度的物理設計
• 液冷：當一個機架功率從幾十千瓦沖向上百千瓦，風冷已經(jīng)撐不住
• 電源：高密度供電、電源轉(zhuǎn)換效率

這一波從8卡 → 72卡 → 500卡的擴張里，每一個組件都在重新洗牌。這也是為什么很多原本"水電煤"角色的供應商——做液冷的、做電源管理的、做電力基礎設施的——估值會被顯著重估。

四、為什么模型從 GPT-4開始「停滯」了三年

這個問題 Dwarkesh 直接問了：GPT-4在2023年前后傳聞就有1萬億參數(shù)，之后三年模型規(guī)模并沒有顯著突破，為什么？

直覺答案是「內(nèi)存放不下更大的模型」——但 Reiner 的回答是：不對，真正的限制是內(nèi)存帶寬。

容量問題其實有解?？梢园涯Ｐ桶磳忧虚_放到不同機架上（叫做"流水線并行"），多個機架接力跑，容量就被繞過去了。

但帶寬不行。搬權重的速度 = 一個機架內(nèi)的總帶寬。帶寬來自哪里？來自機架內(nèi)每張卡的并行加載。機架越大，并行的卡越多，加載越快。

所以真正決定模型能做多大、跑多快的，不是 HBM 容量，而是「機架級"的并行帶寬。

而過去三年，機架從8卡升到72卡，整整9倍。這才是為什么最近半年才開始有顯著更大的模型出來——不是沒人想做，而是物理硬件剛剛才允許這件事。

這也回答了一個市場上常見的疑問：為什么 Gemini 系列在某些方面長期領先？Reiner 的判斷是：Google 的 TPU pod 一直擁有非常大的機架級互聯(lián)域，他們更早享受到帶寬紅利。

五、稀疏度是「純收益」：MoE 不是噱頭

許多人對 MoE 有個樸素的懷疑：每次只用一小部分參數(shù)，會不會犧牲模型質(zhì)量？

Reiner 的回答是：從系統(tǒng)經(jīng)濟學的角度，提高稀疏度（只激活更小比例的參數(shù)）是純收益。

為什么？因為：

• 計算時間下降（激活的參數(shù)少了）
• 總參數(shù)量上升 → 內(nèi)存容量需求增加，但靠批量處理攤銷
• 唯一的天花板是「用戶夠不夠多塞滿批次」

唯一需要擔心的是模型質(zhì)量。引用一篇早期論文，老一代的 MoE 技術里，要64倍參數(shù)才能換4倍等效模型——這個比例聽起來很糟糕。但 DeepSeek 在2024年提出的 fine-grained MoE（細粒度專家）大幅改善了這條曲線。

Reiner 原話："只要還有用戶可以填進批次，你就應該繼續(xù)提高稀疏度。"

這件事的第三個投資含義

模型架構的演進方向已經(jīng)明確了：更稀疏、更細粒度的 MoE，加上更大的總參數(shù)量。

這有幾個推論：

第一，這條路對 NVIDIA 這種大算力 + 大帶寬 + 大機架的硬件配置非常友好——所以 GPU 在訓練側(cè)的護城河沒有問題。

第二，DeepSeek 在 MoE 算法層面做出的實際貢獻，遠比"低成本訓出 GPT-4"這個表面新聞要重要——他們打開了一個讓前沿模型繼續(xù)往下走的算法路徑。這個事實在中國 AI 產(chǎn)業(yè)的國際地位評估里，其實仍被低估了。

第三，張量并行（早期很火的一種切分方式）已經(jīng)過氣。專家越來越小，沒必要再把一個專家切到多張卡上。這意味著行業(yè)里圍繞"如何切大模型"的工程方向正在收斂。

六、推理需求 ≈ 全部預訓練數(shù)據(jù)量

這是整場訪談里最讓人停下來想想的結論。

經(jīng)典的 Chinchilla 縮放法則告訴我們：模型參數(shù)和訓練數(shù)據(jù)應該按1:20的比例搭配，這是預訓練經(jīng)濟學的最優(yōu)解。

但 Reiner 指出：現(xiàn)代 frontier 模型不再只考慮預訓練成本，而是要在三段成本之間做平衡：

1. 預訓練：訓練一次基礎模型
2. 強化學習（RL）：讓模型學會"思考"和"做任務"
3. 推理：模型部署后給用戶用

如果三段成本要大致平衡（這是經(jīng)濟學上的最優(yōu)策略），可以反推出一個數(shù)字：當前前沿模型的預訓練數(shù)據(jù)量大約是 Chinchilla 推薦值的100倍。

也就是說，模型不是按"訓練效率最高"的方式訓出來的，而是按"訓得稍微過頭一點，省下推理時長期的運行成本"來訓的。這就是所謂的"過度訓練"（over-training）。

更進一步，Reiner 推出了一個讓人震撼的等式：

每一個前沿模型在它的生命周期里產(chǎn)出的 tokens 數(shù)量，應該大致等于它訓練時吃過的 tokens 數(shù)量。

而預訓練數(shù)據(jù)近似就是「人類全部知識」。所以每代前沿模型都應該在它兩個月的服役期里，吐出與人類全部知識等量的 token。

也就是，如果三段成本要平衡，token 數(shù)自然就該這么配。這個等式可以用于：

第一，估算 frontier 模型的真實推理流量。Reiner 在播客里直接做了這個反推——假設全球流量5千萬 token/秒，模型服役兩個月，反推出推理 token 總量約200萬億，再對照100B 激活參數(shù)的 Chinchilla 推薦值是2萬億——得出"現(xiàn)代模型 over-trained 約100倍"的判斷。這個100倍是個非常重要的數(shù)字，意味著 Scaling Law 時代已經(jīng)過去了，進入了"過度訓練換推理便宜"的新范式。

第二，估算推理市場的真實規(guī)模。如果每代前沿模型在服役期產(chǎn)生200萬億 token，全球有幾家 frontier lab 同時在服役，再考慮非 frontier 的中小模型——總推理 token 量級是個天文數(shù)字。這就是為什么 Reiner 自己創(chuàng)辦 MatX 做推理芯片，為什么 Cerebras、Groq 這些公司有真實市場空間，為什么 AMD 在推理側(cè)的故事是真的。

第三，反推單 token 的經(jīng)濟價值。如果一個模型生命周期內(nèi)吐出200萬億 token，OpenAI 這家公司值千億美元——意味著市場認為每個 token 值幾分之一美分。這個數(shù)字反過來又能用來交叉驗證 API 定價的合理性。

它讓我們了解"訓練側(cè) vs 推理側(cè)"的真實比例。

過去幾年市場敘事是"訓練驅(qū)動一切"——更多公司要訓自己的大模型，所以 GPU 賣爆。但 Reiner 這個推論給了一個不同的圖景：預訓練只占總算力成本的1/3，推理才是大頭。

這件事的第四個投資含義

推理需求的體量，比大多數(shù)人想象的要大得多。

ChatGPT 出來之后，市場原本以為算力需求大增是「訓練驅(qū)動」的——更多公司要訓自己的大模型。但 Reiner 這個推論給出的是另一個圖景：真正的算力大頭在推理端，不在訓練端。預訓練只占總成本的三分之一。

這有幾個直接含義：

第一，專門做推理的芯片公司有真實的市場空間。Reiner 自己創(chuàng)辦的 MatX 就是干這個的——他不是在做"NVIDIA 的備胎"，而是在賭"推理是個獨立的、巨大的市場"。Cerebras、Groq 這些以推理切入的玩家，從這個視角看，并不是在做小生意。

第二，AMD 在推理時代的定位會變得更重要。訓練側(cè) NVIDIA 的護城河非常深（網(wǎng)絡生態(tài)、CUDA、機架），但推理側(cè)門檻要低一些，對帶寬和單卡算力的極限要求沒那么苛刻。

第三，custom ASIC（定制芯片）的需求會持續(xù)——Google 自己用 TPU、AWS 有 Trainium、Meta 在做自己的推理芯片，每家 hyperscaler 都有動力把推理的30% 總算力搬到自家芯片上去。這個趨勢會持續(xù)利好做 ASIC 設計的設計服務公司。

七、API 定價是怎么「泄露」行業(yè)內(nèi)褲的

這一節(jié)稍微技術一點，但很有意思。Reiner 用了一個反向的方法：從公開的 API 定價反推 frontier lab 的內(nèi)部架構選擇。

為什么這能成立？因為 API 價格必然貼近成本——定得太高，競爭對手就來撬。所以定價結構里藏著真實的成本結構。

現(xiàn)象1：Decode 比 Prefill 貴5倍

輸出（decode）是模型一個一個吐出 token，輸入（prefill）是一次性處理完整段輸入。當前主流定價里，輸出大約比輸入貴3到5倍。

Reiner 推出來的結論是：這說明 frontier lab 在 decode 階段被內(nèi)存帶寬鎖得很死——他們的算力實際上有大量空轉(zhuǎn)。

也就是說：算力其實是有富余的，缺的是帶寬。

這對于大家理解今天本號發(fā)的頭條文章對于HBM研究的重要性。

現(xiàn)象2：Cache Hit 便宜10倍

如果一段輸入命中緩存（之前用過），價格能便宜10倍。Reiner 把這件事推到內(nèi)存層級經(jīng)濟學：

不同的存儲介質(zhì)有不同的"經(jīng)濟持有時間"：

讓 Reiner 自己都覺得意外的是：機械硬盤在 AI 推理基礎設施里仍然在被使用——盡管它讀全部容量要花一個小時。

現(xiàn)象3：Gemini 在200K token 處漲價50%

為什么是200K，為什么是50%？Reiner 推出來：這正是算力瓶頸和帶寬瓶頸的過渡點。200K 之前主要被算力限制，之后主要被帶寬限制，兩段定價是為了兩邊都有利潤。

這件事的第五個投資含義

多層存儲市場都在被 AI 消耗，不只是 HBM。

• HBM 是最貴的、最被關注的，但只解決"分鐘內(nèi)"的工作集
• DDR（主機內(nèi)存）市場也在受益
• 企業(yè)級 SSD / Flash 在 AI 推理里有持續(xù)需求
• 甚至機械硬盤都還有它的位置

這意味著整個存儲產(chǎn)業(yè)鏈——從最快的 HBM 到最慢的機械硬盤——都是 AI 這波浪潮的受益者。這和過去人們以為「AI = HBM」的簡化敘事是有差別的。

八、上下文長度有天花板：百萬以上 token 經(jīng)濟上不劃算

很多人——包括 Anthropic 的 Dario 在播客里——講過一個樂觀敘事：我們不需要持續(xù)學習，超長上下文（in-context learning）就夠了。意思是，未來的 AI 助理不需要"記住"你，只要每次把你過去幾個月的所有交互全部塞進上下文，它就能像老員工一樣了解你。

這聽起來很合理，但前提是上下文要能做到上億 token 量級。

但百萬 token 是"能做但貴"，繼續(xù)推到百萬、千萬、億 token，性價比會陡然惡化。這里"惡化"指的是單 token 成本會顯著上升，因為 KV Cache 的內(nèi)存帶寬消耗是線性增長的。

Reiner 的判斷是：這條路目前沒有清晰的解藥。

為什么？因為上下文越長，KV Cache 越大，每生成一個 token 都要把整個 KV Cache 從內(nèi)存里讀一遍——又回到了內(nèi)存帶寬的瓶頸。而 HBM 帶寬這條曲線，沒有看到顯著突破的路徑。

模型上下文從 GPT-3的8K 跳到 GPT-4的100K-200K，過去一兩年基本就橫盤在200K 附近。Reiner 說：這暗示200K 大概就是當前架構和硬件下的成本均衡點，再往上推，性價比會陡然惡化。

原話："實證結果是認知能力沒在持續(xù)提升，我認為是因為 memory wall 沒有解。"

所以：

第一，上下文"分級定價"會成為常態(tài)。不同長度對應不同價格檔，frontier lab 在用價格曲線把不同需求的客戶分開。

第二，外部記憶系統(tǒng)（向量數(shù)據(jù)庫、RAG、記憶管理）的需求依然成立。因為對大多數(shù)應用來說，"用 RAG 喂50K token + 200K 上下文"比"硬塞1M 上下文"便宜得多。

第三，Gemini 在長上下文上的差異化競爭力是真的。Google 擁有更大的 scale-up domain（TPU pod），所以它能比別家更經(jīng)濟地提供長上下文產(chǎn)品——這是 Google 在長文檔分析、視頻理解這些場景上的結構性優(yōu)勢。這個優(yōu)勢是工程經(jīng)濟學決定的，不是臨時領先。

從投資視角的話，這一部分目前最值得關注的是端側(cè) AI 這條線，我會在后續(xù)放出研報（此前已經(jīng)提前放出高通研報，為了趕在財報前發(fā)布）

這件事的第六個投資含義

AI 應用的形態(tài)會被上下文天花板鎖住一段時間。

具體來說：

• AI Agent 的"記憶"問題不會很快被超長上下文一招解決。要做長期記憶的 agent，必須在外部記憶系統(tǒng)（比如向量數(shù)據(jù)庫、retrieval-augmented generation）上下功夫。這意味著相關的中間件、向量存儲、記憶管理工具有自己的市場。
• 超長上下文（1M+）會維持高溢價定價。能處理百萬 token 的服務（比如分析整個代碼庫、讀完一本書）會作為差異化產(chǎn)品存在，但它們不會成為主流。
• 稀疏注意力可能是一個突破口。Reiner 提到 sparse attention 能給一個 √N 量級的改善，可能是少數(shù)能把上下文繼續(xù)推大的算法路徑。

九、總結

Reiner 這場兩小時的講座濃縮成投資視角的結論：

第一，AI 的瓶頸是搬數(shù)據(jù)，不是算賬。圍繞這個瓶頸展開的所有解決方案——HBM、機架級互聯(lián)、專門的推理芯片——都有結構性需求。這個需求短期內(nèi)沒有解。

第二，單卡時代過去了，機架時代來了。NVIDIA 的真正護城河升級，是從8卡到72卡再到500卡的物理工程能力。這一波物料供應鏈的贏家——從液冷到電源到線纜到機架——會被重新洗牌。

第三，模型架構在收斂。MoE + 大量稀疏度 + 更細粒度的專家，是行業(yè)方向。DeepSeek 在算法層面做出的貢獻被嚴重低估了。

第四，推理才是大頭。三段成本平衡里，推理占三分之一；每代模型在生命周期里吐出的 token 總量，等于它吃下去的全部預訓練數(shù)據(jù)量。這意味著推理芯片市場是真實存在的、巨大的市場。

第五，存儲是全譜系受益。HBM 是焦點，但 DDR、Flash、甚至機械硬盤都在被 AI 消耗。

第六，上下文長度有天花板，AI 應用形態(tài)在短期內(nèi)會被這個天花板鎖住。能突破這個天花板的算法（比如稀疏注意力）值得長期跟蹤。

把這六條放進 AI 投資地圖來看，2026年最確定的幾個方向——內(nèi)存（HBM 優(yōu)先，但不止）、機架級互聯(lián)與基礎設施（電源、冷卻、網(wǎng)絡）、推理芯片（包括專用 ASIC）、模型架構創(chuàng)新（MoE 系）——都能在 Reiner 這場講座里找到第一性原理上的依據(jù)。

而我會繼續(xù)高強度一家家過下去，最笨的辦法會最有效。