重新思考 AI TCO：為何每 Token 成本才是唯一重要的指標

作者 | 冬梅

傳統(tǒng)數(shù)據(jù)中心過去主要用于數(shù)據(jù)的存儲、檢索與處理。但在生成式 AI 與代理式 AI 時代，這些設(shè)施已演變?yōu)?AI Token 工廠。隨著 AI 推理成為其核心工作負載，它們的主要產(chǎn)出已轉(zhuǎn)變?yōu)橐?Token 形式制造的智能。

這一轉(zhuǎn)變也需要對包括總體擁有成本（TCO）在內(nèi)的 AI 基礎(chǔ)設(shè)施的經(jīng)濟效益評估的方式相應(yīng)地進行調(diào)整。然而，在評估 AI 基礎(chǔ)設(shè)施時，企業(yè)仍過于關(guān)注芯片峰值規(guī)格、計算成本，或每美元所能獲得的浮點運算性能，即每美元 FLOPS。

關(guān)鍵區(qū)別在于：

• 算力成本是企業(yè)為 AI 基礎(chǔ)設(shè)施所支付的費用，無論是從云服務(wù)提供商租用，還是在本地自建部署。

• 每美元 FLOPS 衡量的是企業(yè)每投入一美元所獲得的原始算力，但原始算力并不等同于現(xiàn)實世界中的 Token 產(chǎn)出。

• 每 Token 成本指的是企業(yè)生成并交付每一個 Token 的綜合成本，通常以每百萬 Token 成本來表示。

前兩者僅是投入指標。但當業(yè)務(wù)圍繞產(chǎn)出運轉(zhuǎn)時，只針對投入優(yōu)化，本質(zhì)上是一種根本性的錯配。

每 Token 成本決定了企業(yè)能否實現(xiàn) AI 的規(guī)模化盈利。它是唯一能夠直接綜合反映硬件性能、軟件優(yōu)化、生態(tài)系統(tǒng)支持以及實際利用率的 TCO 指標，而 NVIDIA 在這一指標上實現(xiàn)了行業(yè)最低的每 Token 成本。

能夠降低每 Token 成本的因素有哪些？

要理解如何優(yōu)化每 Token 成本，首先需要了解用于計算“每百萬 Token 成本”的計算公式。

在這個公式中，許多評估 AI 基礎(chǔ)設(shè)施的企業(yè)往往只關(guān)注分子項，即每 GPU 每小時成本。對于云部署而言，這對應(yīng)支付給云服務(wù)提供商的小時費用；而對于本地部署，則是通過攤銷自有基礎(chǔ)設(shè)施得到的等效小時成本。然而，降低每 Token 成本的關(guān)鍵在于分母，即最大化實際交付的 Token 產(chǎn)出。

這個分母傳遞了兩層商業(yè)含義：

• 最小化每 Token 成本：當 Token 產(chǎn)出增加被代入公式時，將降低每 Token 成本，從而提升每一次交互服務(wù)的利潤空間。

• 最大化收入：每秒交付更多 Token，也意味著每兆瓦產(chǎn)出更多的 Token，這將帶來更高的智能供給能力，使 AI 驅(qū)動的產(chǎn)品與服務(wù)能夠在相同基礎(chǔ)設(shè)施投入下創(chuàng)造更高收入。

因此，如果只關(guān)注分子，就會忽視真正決定分母的因素。可以將其理解為一個“推理冰山”：分子位于水面之上，直觀可見且易于橫向比較；而分母則隱藏在水面之下，那才是決定實際 Token 產(chǎn)出的關(guān)鍵因素。對 AI 基礎(chǔ)設(shè)施的準確評估，應(yīng)從探究水面之下的部分開始。

表層問題：

• 每 GPU 小時的成本是多少？

• 峰值 PetaFLOPS 性能和高帶寬內(nèi)存容量是多少？

• 每美元可獲得多少 FLOPS？

深度成本分析：

• 每百萬 Token 的成本是多少？尤其是針對大規(guī)模混合專家（MoE）推理模型（當前部署最廣泛的一類 AI 模型），其每百萬 Token 成本是多少？*

• 每兆瓦可交付多少 Token 產(chǎn)出？尤其是對本地部署而言，由于在土地、電力與基礎(chǔ)設(shè)施上的資本投入較大，最大化每兆瓦所產(chǎn)生的智能產(chǎn)出至關(guān)重要。*

• 縱向擴展（scale-up）互連是否能夠支撐 MoE 模型所需的“all-to-all”通信模式？

• 是否支持 FP4 精度？推理棧是否能夠在保持高精度的同時充分利用 FP4？*

• 推理運行時是否支持 投機解碼或多 Token 預測，以提升用戶交互體驗？

• 服務(wù)層是否支持 解耦服務(wù)、KV 感知路由、KV 緩存卸載* 以及其他優(yōu)化？

• 平臺是否支持代理式 AI 的獨特工作負載需求，包括超低延遲、高吞吐以及長輸入序列長度等？

• 平臺是否支持從訓練、后訓練到大規(guī)模推理的完整生命周期，并覆蓋所有模型架構(gòu)，從而實現(xiàn)基礎(chǔ)設(shè)施可互換性與高利用率？

這些算法、硬件與軟件化中的每一項優(yōu)化都必須有效并且是可以相互集成的，否則分母項將無法成立。一塊看似“更便宜”的 GPU，如果其每秒 Token 產(chǎn)出數(shù)量明顯更低，反而會導致更高的每 Token 成本。能夠做到全棧真正優(yōu)化的 AI 基礎(chǔ)設(shè)施，才能夠確保每項優(yōu)化都相互增強，從而持續(xù)提升整體效率。

為什么每 Token 成本比每美元 FLOPS 更重要？

以下 DeepSeek-R1 AI 模型的數(shù)據(jù)展示了理論指標與實際商業(yè)結(jié)果之間的差異。

僅從算力成本來看，NVIDIA Blackwell 平臺的成本似乎約為 NVIDIA Hopper 的 2 倍，但算力成本并不能說明這項投入究竟能帶來多少實際產(chǎn)出。如果僅以每美元 FLOPS 進行分析，相較于 NVIDIA Hopper 架構(gòu)，NVIDIA Blackwell 僅有約 2 倍優(yōu)勢。然而，實際結(jié)果卻呈現(xiàn)出數(shù)量級差異：Blackwell 每瓦的 Token 產(chǎn)出量是 Hopper 的 50 倍以上，每百萬 Token 的成本降低至其 1/35 左右。

注：數(shù)據(jù)來源于 NVIDIA 分析報道及 SemiAnalysis InferenceX v2 基準測試。

這一懸殊差異表明，相較于上一代 Hopper，NVIDIA Blackwell 在商業(yè)價值上實現(xiàn)了巨大的躍遷，其提升幅度遠超系統(tǒng)成本的增加。

如何選擇合適的 AI 基礎(chǔ)設(shè)施？

僅憑算力成本或每美元理論 FLOPS 來比較 AI 基礎(chǔ)設(shè)施，不僅是不充分的，也無法真實反映推理經(jīng)濟學。正如數(shù)據(jù)所展示的，要準確評估 AI 基礎(chǔ)設(shè)施的營收潛力與盈利能力，需將衡量維度從輸入指標轉(zhuǎn)向每 Token 成本和實際 Token 產(chǎn)出量。

NVIDIA 通過在計算、網(wǎng)絡(luò)、內(nèi)存、存儲、軟件以及合作伙伴技術(shù)上的 極致協(xié)同設(shè)計，實現(xiàn)了業(yè)內(nèi)最低的 Token 成本與最高的 Token 吞吐量。此外，諸如 vLLM、SGLang、NVIDIA TensorRT-LLM 以及 NVIDIA Dynamo 等基于 NVIDIA 平臺構(gòu)建的開源推理軟件的持續(xù)優(yōu)化，意味著在現(xiàn)有 NVIDIA 基礎(chǔ)設(shè)施部署后，Token 產(chǎn)出仍可不斷提升，每 Token 成本會持續(xù)下降。

一些云服務(wù)提供商與 NVIDIA 云合作伙伴，已在規(guī)模化部署中充分體現(xiàn)這一優(yōu)勢。包括 CoreWeave、Nebius、Nscale 與 Together AI 在內(nèi)的合作伙伴，已部署 NVIDIA Blackwell 基礎(chǔ)設(shè)施，并對其技術(shù)棧進行了優(yōu)化，為企業(yè)提供當前最低的 Token 成本，同時充分發(fā)揮 NVIDIA 在硬件、軟件與生態(tài)系統(tǒng)協(xié)同設(shè)計方面的全部優(yōu)勢，使每一次 AI 交互的處理都建立在這一完整體系之上。

會議推薦

世界模型的下一個突破在哪？Agent 從 Demo 到工程化還差什么？安全與可信這道坎怎么過？研發(fā)體系不重構(gòu)，還能撐多久？

AICon 上海站 2026，4 大核心專題等你來：世界模型與多模態(tài)智能突破、Agent 架構(gòu)與工程化實踐、Agent 安全與可信治理、企業(yè)級研發(fā)體系重構(gòu)。14 個專題全面開放征稿。

誠摯邀請你登臺分享實戰(zhàn)經(jīng)驗。AICon 2026，期待與你同行。

今日薦文

你也「在看」嗎？