企業(yè)級GPU集群平均利用率僅為5%

5%的效率比不采取任何措施的基準(zhǔn)水平還要糟糕大約六倍。

企業(yè)無法解決GPU浪費(fèi)問題，因?yàn)槿魏谓鉀Q方案都會(huì)使問題更加嚴(yán)重。釋放閑置容量可以提高利用率，但正是由于GPU短缺推高了價(jià)格，才導(dǎo)致團(tuán)隊(duì)不愿意歸還閑置容量。因此，GPU利用率僅為5%左右，按小時(shí)計(jì)費(fèi)，而且這種模式還在不斷惡化。

過去兩年里，數(shù)千家企業(yè)都面臨著同樣的壓力。根據(jù)Cast AI發(fā)布的《2026年Kubernetes優(yōu)化現(xiàn)狀報(bào)告》（該報(bào)告測量了實(shí)際生產(chǎn)集群，而非僅進(jìn)行調(diào)查），正是這種壓力導(dǎo)致大多數(shù)公司目前的GPU集群利用率僅為5%左右。這也是為什么沒有人釋放閑置容量的原因。Cast AI聯(lián)合創(chuàng)始人兼總裁Laurent Gil已經(jīng)追蹤這一動(dòng)態(tài)兩年了。

5% 的效率比不采取任何措施的基準(zhǔn)水平還要糟糕大約六倍。Gil認(rèn)為，考慮到每日周期、周末和正常的業(yè)務(wù)模式，合理的人工管理目標(biāo)應(yīng)該在 30% 左右。5% 意味著企業(yè)運(yùn)行其最昂貴的基礎(chǔ)設(shè)施的成本僅為不采取任何措施所能達(dá)到的收益的一小部分。而與此同時(shí)，云計(jì)算定價(jià)也打破了其 20 年來的穩(wěn)定模式。

此前，AWS悄然將其預(yù)留的H200 GPU價(jià)格上調(diào)了約15%，并未發(fā)布任何正式公告。內(nèi)存供應(yīng)商也宣布，2026年HBM3e的價(jià)格將上漲20%。這是自AWS于2006年推出EC2以來，超大規(guī)模云服務(wù)商首次大幅提高預(yù)留GPU的價(jià)格，而非像以往那樣下調(diào)。目前，大多數(shù)企業(yè)AI預(yù)算中普遍存在的“云計(jì)算成本逐年下降”的假設(shè)，在云計(jì)算服務(wù)的最前端已不再成立。

云市場已經(jīng)分裂成兩部分

云計(jì)算已經(jīng)分為兩個(gè)層面。在商品層面，傳統(tǒng)的通貨緊縮機(jī)制依然有效。H100 按需定價(jià)已從2025 年 9 月的每 GPU 小時(shí)約 7.57 美元降至如今的約 3.93 美元，Lambda Labs 和 RunPod 等平臺(tái)列出的 H100 價(jià)格低于 3 美元，而老款 A100 的價(jià)格約為 1.92 美元。曾經(jīng)一機(jī)難求的英偉達(dá) T4 芯片，如今在多個(gè) AWS 區(qū)域中 24 小時(shí)的供貨概率已超過 90%。

在前端芯片層，情況則截然相反。英偉達(dá)已收到2026年200萬顆H200芯片的訂單，而庫存僅為70萬顆。臺(tái)積電的先進(jìn)封裝技術(shù)（用于封裝所有配備HBM顯存的GPU）的訂單已排到至少2027年中期。AMD也警告稱，由于同樣的產(chǎn)能緊張，其2026年的價(jià)格也將上漲。即使是原本預(yù)計(jì)隨著2023年起三年預(yù)訂到期而有所回落的A100芯片，其價(jià)格也開始緩慢回升。Gill的解讀是：FOMO（害怕錯(cuò)過）情緒如今蔓延到了老一代產(chǎn)品。企業(yè)工作負(fù)載位于哪一層決定了其面臨的風(fēng)險(xiǎn)。

為什么是 5%？

第一部分：采購流程

GPU價(jià)格如此昂貴，為什么顯卡利用率只有5%？Gill對企業(yè)GPU采購的解釋是我聽過的最清晰的。

一家企業(yè)需要GPU。它加入了超大規(guī)模數(shù)據(jù)中心的等候名單。幾周甚至幾個(gè)月過去了，杳無音訊。然后接到一個(gè)電話：“你們要了48個(gè)，我這里只有36個(gè)。如果你們想要的話，可以拿走，但必須簽訂一年或三年的合約，三年合約更劃算。如果你們不要，名單上的其他五家公司會(huì)要的。” 失去配額的擔(dān)憂十分強(qiáng)烈。于是簽署了合約。此時(shí)，工作負(fù)載是否真的需要這么多GPU，或者這一代芯片是否適合運(yùn)行在它們上面的應(yīng)用，都不是關(guān)鍵問題。關(guān)鍵問題是：是答應(yīng)下來，還是會(huì)失去這個(gè)配額？

一旦這些GPU被鎖定，釋放它們就變得極其麻煩。重新獲取它們需要數(shù)月時(shí)間，而且沒有人愿意成為那個(gè)釋放了容量卻無法再次獲取的團(tuán)隊(duì)。因此，這些GPU就只能閑置，按小時(shí)計(jì)費(fèi)，無論是否使用。Gill描述了企業(yè)按需付費(fèi)的模式，這種模式的價(jià)格大約是預(yù)訂一年價(jià)格的三倍，因?yàn)榧词箖r(jià)格更高，企業(yè)也覺得釋放它們比冒險(xiǎn)要安全得多。

這就是5%這個(gè)數(shù)字背后的悖論。提高利用率最直接的方法是釋放那些閑置的GPU。但正是由于GPU短缺導(dǎo)致價(jià)格高昂，也正是因?yàn)槿绱耍艣]有人愿意釋放它們。于是，GPU資源持續(xù)過剩，短缺持續(xù)存在，價(jià)格上漲，而引發(fā)這個(gè)循環(huán)的FOMO（害怕錯(cuò)過）情緒也隨之加劇。循環(huán)的每一次都讓下一次退出更加困難。

Forrester 的數(shù)據(jù)從另一個(gè)角度證實(shí)了這種動(dòng)態(tài)。首席分析師 Tracy Woo 發(fā)現(xiàn)，從業(yè)者自我估計(jì)的 Kubernetes 資源浪費(fèi)率約為 60%，與 Cast AI 直接測量的結(jié)果接近。Kubernetes 實(shí)踐中普遍存在的一種模式解釋了這種動(dòng)態(tài)：工程師通常會(huì)申請實(shí)際使用資源的五到十倍，因?yàn)橘Y源不足的成本是顯而易見的（會(huì)發(fā)出警報(bào)），而資源過度配置的成本是隱蔽的（云賬單上會(huì)出現(xiàn)一筆工程師看不到的費(fèi)用）。

第二部分：架構(gòu)循環(huán)

單靠采購環(huán)節(jié)的改進(jìn)無法使數(shù)量達(dá)到理想水平，因?yàn)槠髽I(yè)目前擁有的GPU在內(nèi)部也存在浪費(fèi)。而架構(gòu)方面的問題，則由與Cast AI競爭的團(tuán)隊(duì)進(jìn)行獨(dú)立診斷。

Ray框架背后的公司Anyscale于1月21日發(fā)布了一份分析報(bào)告，指出由于工作負(fù)載的容器化方式，即使集群規(guī)模恰到好處，現(xiàn)代AI工作負(fù)載的GPU利用率也常常低于50%。一個(gè)AI作業(yè)會(huì)經(jīng)歷CPU密集型階段（數(shù)據(jù)加載、預(yù)處理）、GPU密集型階段（訓(xùn)練或推理），然后再返回CPU。當(dāng)所有這些操作都在同一個(gè)容器中運(yùn)行時(shí)，GPU雖然在整個(gè)生命周期內(nèi)都被分配，但只有一小部分時(shí)間真正用于執(zhí)行有效工作。

Gartner 也獨(dú)立得出了相同的結(jié)論。在其 2025 年 11 月發(fā)布的關(guān)于本地部署 AI 基礎(chǔ)設(shè)施的研究報(bào)告中，Gartner 建議將跨孤立項(xiàng)目的共享 GPU 使用與解耦推理相結(jié)合，即提示處理和令牌生成在不同的硬件上運(yùn)行。Nvidia 上個(gè)月發(fā)布的 Dynamo 推理框架（用于 MLPerf Inference v6.0）也基于相同的原理。

兩家供應(yīng)商和一家獨(dú)立分析公司（Cast AI、Anyscale、Gartner）得出相同診斷，比任何一家供應(yīng)商的說法都更有說服力，尤其當(dāng)其中一家是競爭對手時(shí)。這兩種浪費(fèi)會(huì)疊加。如果采購時(shí)資源分配過高，運(yùn)行的工作負(fù)載容器導(dǎo)致 GPU 閑置等待 CPU 預(yù)處理，企業(yè)最終只能獲得 5% 的資源。如果只解決其中一個(gè)問題而不解決另一個(gè)，大部分潛在的節(jié)省就無法實(shí)現(xiàn)。

40% 的利用率實(shí)際需要什么？

如果由于害怕錯(cuò)過機(jī)會(huì)（FOMO）而導(dǎo)致GPU發(fā)布受阻，且采購合同已經(jīng)簽訂，那么唯一剩下的辦法就是讓已簽約的GPU發(fā)揮更大的作用。這才是“提高利用率”在實(shí)踐中的真正含義，而且這一切都不需要購買任何廠商的產(chǎn)品。

最簡單的存在性證明其實(shí)是最古老的技術(shù)：跨時(shí)區(qū)GPU共享。一家銀行的信貸決策引擎服務(wù)于亞洲和美國客戶，它可以運(yùn)行一個(gè)GPU池，在不同時(shí)間段服務(wù)于這兩個(gè)市場。英偉達(dá)多年前就發(fā)布了MIG（多實(shí)例GPU）和時(shí)間片輪轉(zhuǎn)技術(shù)。大多數(shù)企業(yè)不會(huì)手動(dòng)實(shí)現(xiàn)，因?yàn)檫@在操作上既繁瑣又會(huì)帶來不必要的協(xié)調(diào)開銷。而自動(dòng)化調(diào)度器可以輕松完成這項(xiàng)工作。

澳大利亞設(shè)計(jì)平臺(tái) Canva 運(yùn)行著 100 多個(gè)生產(chǎn)級 AI 模型，該公司告訴 Anyscale，在分布式訓(xùn)練運(yùn)行期間，其 GPU 利用率接近100% ，云成本比之前的配置降低了約 50%。Cast AI 自身的數(shù)據(jù)顯示，一個(gè)由 136 個(gè) H200 GPU 組成的集群，在應(yīng)用 GPU 共享、打包（將多個(gè)工作負(fù)載分配到更少、大小合適的節(jié)點(diǎn)上）以及競價(jià)型/按需型混合模式后，平均利用率達(dá)到了 49%。這比集群平均利用率高出十倍，但尚未達(dá)到飽和。說實(shí)話，大多數(shù)實(shí)際企業(yè)集群在完全優(yōu)化的情況下，混合了開發(fā)、測試和生產(chǎn)工作負(fù)載，其利用率可能在 40% 到 70% 之間，而不是 100%。即便如此，也比 5% 的利用率高出一個(gè)數(shù)量級。

需要注意的是：報(bào)告中提到的5%這一數(shù)字明確排除了專門用于人工智能訓(xùn)練的實(shí)驗(yàn)室。那些更像是前沿實(shí)驗(yàn)室而非混合型企業(yè)集群的組織，其利用率可能已經(jīng)遠(yuǎn)高于此。

采購?fù)緩揭巡辉倏苫Q

2026年，企業(yè)究竟應(yīng)該做出哪些改變？市場上的發(fā)展路徑不再相同，每條路徑都對供需走向做出不同的押注。

那種選擇單一路徑并鎖定多年計(jì)劃的模式已經(jīng)不再奏效。更合理的2026年默認(rèn)方案是混合使用不同的路徑，避免出現(xiàn)資源分割：對于能夠穩(wěn)定運(yùn)行的工作負(fù)載，選擇通用型服務(wù)提供商；而對于需要保證服務(wù)窗口期的工作負(fù)載，則僅使用超大規(guī)模容量塊。

今年大多數(shù)企業(yè)都沒有問過的一個(gè)最實(shí)際的問題是：他們真的需要 H200 嗎？

H200 專為超大型模型（700 億以上參數(shù)）和超長上下文（12.8 萬個(gè)標(biāo)記）而設(shè)計(jì)，其 141 GB 的顯存（幾乎是 H100 的 80 GB 的兩倍）使其能夠輕松應(yīng)對高負(fù)載而不降低性能。對于較小的模型、微調(diào)導(dǎo)數(shù)、量化推理以及大多數(shù)實(shí)際交付給客戶的生產(chǎn)級 AI 應(yīng)用，根據(jù) Cast AI 的數(shù)據(jù)，H100 可以以大約低 40% 的 GPU 小時(shí)成本完成相同的工作。A100 通常也能勝任，成本大約低 60%。單一通用 GPU 作為默認(rèn)解決方案的時(shí)代正在終結(jié)。芯片選擇正從代際采購決策轉(zhuǎn)變?yōu)獒槍唧w工作負(fù)載的路由決策。

Gil 的觀察更加印證了這一點(diǎn)。在 80% 的利用率下，B200 的單位代幣成本確實(shí)比 A100 更低：其每小時(shí)性能更高，但每小時(shí)成本也更高。然而，當(dāng)利用率降至 5% 時(shí)，情況就截然相反了。高端芯片反而加劇了資源浪費(fèi)。購買最新芯片卻未能充分利用，是 FOMO 循環(huán)中最昂貴的版本。

第一種方法是免費(fèi)的，它是一種工作負(fù)載審計(jì)，而非軟件采購。運(yùn)行此方法無需釋放任何GPU。生產(chǎn)環(huán)境中所有基于GPU的工作負(fù)載都值得根據(jù)一個(gè)問題進(jìn)行審查：它所使用的芯片是否真正與其工作相匹配。令人驚訝的是，到2026年，相當(dāng)一部分H200采購最終會(huì)被證明是因?yàn)榉峙涑晒Γ皇且驗(yàn)楣ぷ髫?fù)載本身需要它。因此，在投入更多預(yù)留容量之前，應(yīng)該先修復(fù)運(yùn)行時(shí)架構(gòu)。在分配容量時(shí)，應(yīng)該混合使用通用容量和預(yù)留容量，而不是只選擇其中一種。

GPU 市場整體最終是否會(huì)重新平衡是另一個(gè)問題，不值得為此押上 2026 年的預(yù)算。供應(yīng)可能會(huì)跟上，內(nèi)存容量可能會(huì)緩解，專用推理芯片可能會(huì)分流 H200 系列的需求。所有這些都有可能發(fā)生，但沒有一件事是確定的。可以肯定的是，采購和運(yùn)行時(shí)問題本質(zhì)上是同一個(gè)問題，只是體現(xiàn)在兩個(gè)方面：FOMO（害怕錯(cuò)過）導(dǎo)致前端資源過度投入，而容器架構(gòu)則讓后端過度投入的資源閑置。如果企業(yè)將兩者視為一個(gè)整體，就能打破這個(gè)循環(huán)；如果企業(yè)繼續(xù)將它們視為兩個(gè)獨(dú)立的預(yù)算項(xiàng)目，則將繼續(xù)以 5% 的成本運(yùn)行其最昂貴的基礎(chǔ)設(shè)施。

*聲明：本文系原作者創(chuàng)作。文章內(nèi)容系其個(gè)人觀點(diǎn)，我方轉(zhuǎn)載僅為分享與討論，不代表我方贊成或認(rèn)同，如有異議，請聯(lián)系后臺(tái)。