CVPR 2026 四篇論文透視：大廠如何靠「算法瘦身」對抗算力漲價(jià)？

2026年，大廠們不再比誰的GPU多，而是比誰的算法更聰明。

作者丨陳淑瑜

編輯丨岑 峰

一個(gè)在2026年越來越難以回避的問題是：如果H100全面斷供、電費(fèi)賬單直線飆升、訓(xùn)練一次大模型的成本足以買下一家創(chuàng)業(yè)公司，大模型的故事還講得下去嗎？

也許頂級學(xué)術(shù)會議的論文能給大家一個(gè)新的啟發(fā)。

今年的CVPR收到了四千余篇投稿，其中一個(gè)清晰的信號正在浮現(xiàn)：大廠不再比拼GPU數(shù)量，而是較量如何把GPU用得更好。算力封鎖之下，算法正在成為新的護(hù)城河。

在論文的汪洋中，字節(jié)跳動(dòng)Seed團(tuán)隊(duì)是出手最密集的玩家之一。

AI 科技評論聚焦四篇來自字節(jié)跳動(dòng)的論文——TEMF、Beyond Token Eviction、Mixture-of-Depths Attention和GenieDrive。它們?nèi)紘@一個(gè)核心命題展開：當(dāng)算力不再能夠"暴力"解決，算法如何接棒？

這四篇論文覆蓋了一條完整的鏈條：從生成模型的采樣步數(shù)壓縮，到推理過程的顯存瘦身，再到注意力計(jì)算資源的動(dòng)態(tài)分配，最終延伸到端側(cè)部署的物理感知。它們不是孤立的創(chuàng)新，而是Seed團(tuán)隊(duì)圍繞"算力降本"這一命題打出的組合拳。

01

采樣降速：一步生成的尺度跨越

大模型的推理成本，很大程度上藏在采樣步數(shù)里。

以Stable Diffusion為代表的多步迭代生成，一個(gè)看似簡單的512×512圖像，背后可能是50到100次神經(jīng)網(wǎng)絡(luò)前向傳播。訓(xùn)練時(shí)模型學(xué)到的是“每一步該怎么加噪”，但推理時(shí)模型需要做的是“每一步該怎么去噪”，這兩個(gè)過程天然不對稱，訓(xùn)練目標(biāo)與推理目標(biāo)之間存在一道看不見的裂縫。

傳統(tǒng)MeanFlow的尺度差距問題正源于此：一步生成的質(zhì)量始終無法與多步采樣競爭，而多步采樣意味著成倍增加的算力消耗。

字節(jié)跳動(dòng)Seed團(tuán)隊(duì)提交的TEMF（Temporal Equilibrium MeanFlow）正是對這一困境的直接回應(yīng)。

TEMF的核心設(shè)計(jì)是讓模型在訓(xùn)練階段就同時(shí)學(xué)習(xí)“從數(shù)據(jù)到噪聲”和“從噪聲到數(shù)據(jù)”的雙向變換，而非像傳統(tǒng)歸一化流那樣只學(xué)習(xí)單向映射。

雙向建模的效果立竿見影，模型在訓(xùn)練時(shí)就熟悉了反向采樣的路徑，推理時(shí)不再需要依賴多步迭代來逐步精煉，可以直接從噪聲出發(fā)、在單次前向傳播中完成整個(gè)生成過程。

這種從百次計(jì)算到一次計(jì)算的跨越，在實(shí)際部署中帶來的成本削減是數(shù)量級的。

論文地址：

https://cvpr.thecvf.com/virtual/2026/poster/39823

有意思的是，這道裂縫的修補(bǔ)并非只有一種解法。同期Meta發(fā)表的Improved Mean Flows從原理層面分析了快轉(zhuǎn)發(fā)聲模型訓(xùn)練與推理不對稱的根源，并提出了自己的改進(jìn)框架。（Improved Mean Flows的論文解讀可閱讀：）

論文地址： https://arxiv.org/abs/2512.02012

兩支獨(dú)立團(tuán)隊(duì)在幾乎同一時(shí)間節(jié)點(diǎn)做出了相似的技術(shù)判斷——一步生成不是天方夜譚，關(guān)鍵在于彌合訓(xùn)練與推理之間的結(jié)構(gòu)性裂縫。這不是巧合，這是行業(yè)共識正在形成的信號。

02

顯存瘦身：KV Cache的精準(zhǔn)壓縮

如果說TEMF解決的是計(jì)算次數(shù)的問題，那么另一篇字節(jié)跳動(dòng)Seed團(tuán)隊(duì)的工作Beyond Token Eviction，則直指推理過程中另一個(gè)更隱蔽的成本中心：顯存占用。

理解KV Cache的機(jī)制，是理解大模型推理成本的關(guān)鍵切口。

當(dāng)大語言模型處理一段文本時(shí)，它需要記住此前所有詞元的信息才能生成下一個(gè)詞元。每一個(gè)經(jīng)過注意力計(jì)算的詞元，都會在顯存中留下一組對應(yīng)的向量，這些向量是模型“上下文記憶”的物理載體。

問題在于，這種“記憶”是只增不減的。當(dāng)上下文窗口從4K擴(kuò)展到32K、再到100K，KV Cache的顯存占用也在同步膨脹。

一個(gè)有100K上下文窗口的模型，僅KV Cache就可能消耗40到60GB的顯存，而消費(fèi)級顯卡的顯存上限不過24GB，就連專業(yè)級A100也不過80GB。也就是說，在不遠(yuǎn)的將來，顯存瓶頸會比計(jì)算瓶頸更早到來。

傳統(tǒng)解法“Token Eviction”是在顯存壓力過大時(shí)，將一部分“不那么重要”的舊Token驅(qū)逐出去，釋放空間給新的Token。

而Beyond Token Eviction的突破則在于“混合維度預(yù)算分配”策略。它不再將Token的存留視為非此即彼的二元判斷，而是允許不同Token擁有不同的“精度維度”指標(biāo)。重要的Token保留更高的維度，從而完整存儲其語義信息；不那么關(guān)鍵的Token被壓縮到更低的維度，以更少的空間保存其核心語義。

這種“混合維度”策略的本質(zhì)是對信息做“有損壓縮”而非“徹底刪除”。被壓縮的Token仍然保留著足夠用于后續(xù)推理的語義信息，而模型通過訓(xùn)練學(xué)會了“自適應(yīng)地”判斷哪些Token值得高精度、哪些可以接受低精度。

系統(tǒng)不再需要在“全部保留”和“全部丟棄”之間做選擇，而是在精度與效率之間找到了一個(gè)可調(diào)的平衡點(diǎn)。

用于KV緩存壓縮的雙階段尺寸分配流程

更難得的是，這套方案無需對模型進(jìn)行任何重訓(xùn)練。云廠商可以直接將它部署在現(xiàn)有推理框架上，以工程側(cè)的輕量改動(dòng)換取顯存占用的大幅下降。

論文地址：https://arxiv.org/pdf/2603.20616

這正是當(dāng)前大廠在降本路徑上最務(wù)實(shí)的選擇：不是推翻重來，而是在既有架構(gòu)上做“微創(chuàng)手術(shù)”。

03

計(jì)算平等：讓模型自己分配算力

采樣步數(shù)降了，顯存空間省了，但字節(jié)在注意力計(jì)算的效率問題上也沒有閑著。他們的Mixture-of-Depths Attention，從計(jì)算資源分配策略的維度提供了一種正交解法。

傳統(tǒng)Transformer在處理每個(gè)Token時(shí)，都會執(zhí)行完整的注意力計(jì)算。這意味著，即使某個(gè)Token在當(dāng)前語境下的語義貢獻(xiàn)微乎其微，它仍然會消耗與其他Token同等的計(jì)算資源。這種“一視同仁”的計(jì)算策略，本質(zhì)上是一種隱性的算力浪費(fèi)。

新的思路由此出發(fā)：并非所有Token都需要被“深度處理”。它引入了一種動(dòng)態(tài)路由機(jī)制，讓模型在運(yùn)行時(shí)自主決定——哪些Token值得走完整的注意力計(jì)算路徑，哪些Token可以被引導(dǎo)至更輕量的快速路徑。

混合深度注意力機(jī)制MoDA

結(jié)果隨之而來：系統(tǒng)層面的有效計(jì)算量顯著下降，但模型輸出的質(zhì)量并未等比例衰減。真正重要的Token仍然得到了充分的計(jì)算資源，而大量“搭便車”的Token被引導(dǎo)至旁路。

這種“讓模型自己判斷輕重緩急”的思路，代表了算法層面“降本增效”的一種優(yōu)雅路徑。這與混合專家（MoE）模型的設(shè)計(jì)哲學(xué)一脈相承，但不是整個(gè)模型層的專家切換，而是在每個(gè)注意力層做細(xì)粒度的資源調(diào)度。

模型在訓(xùn)練過程中學(xué)會動(dòng)態(tài)分配計(jì)算預(yù)算，而非通過硬編碼的稀疏規(guī)則強(qiáng)行削減計(jì)算量——好鋼用在刀刃上，這是2026年算法工程師們最希望模型學(xué)會的本事。

論文地址：https://arxiv.org/pdf/2603.15619

04

端側(cè)部署：物理感知驅(qū)動(dòng)的世界模型

上述三篇工作幾乎都在回答同一個(gè)問題：如何在有限的算力約束下，讓模型跑得更快、占得更少。但字節(jié)跳動(dòng)在GenieDrive這篇工作中，提出了一個(gè)更遠(yuǎn)見的問題：高效模型在端側(cè)能做什么？

自動(dòng)駕駛的視覺感知系統(tǒng)，一直是算力軍備競賽的重災(zāi)區(qū)。傳統(tǒng)自動(dòng)駕駛的感知系統(tǒng)依賴多傳感器融合，各司其職又彼此冗余，在算力有限的嵌入式平臺上捉襟見肘。

GenieDrive把這個(gè)問題拆解得更深了一層。它搭建了一種“物理感知驅(qū)動(dòng)的4D占用引導(dǎo)視頻生成”框架，不再將視覺感知視為一個(gè)“看懂圖像”的問題，而是將其視為一個(gè)“理解物理世界如何運(yùn)轉(zhuǎn)”的問題，不僅讓模型生成視覺上逼真的駕駛場景視頻，還讓模型具備對物理規(guī)律的基本理解，比如運(yùn)動(dòng)物體的軌跡遵循物理動(dòng)量、遮擋關(guān)系遵循空間一致性、光照變化遵循物理反射模型。

這種設(shè)計(jì)的直接效果是：GenieDrive生成的不是一段“視覺上逼真的視頻”，而是一個(gè)“物理上可信的4D模擬環(huán)境”。

當(dāng)這個(gè)模擬環(huán)境可以直接服務(wù)于下游的軌跡規(guī)劃和決策控制時(shí)，端側(cè)模型的商業(yè)價(jià)值就超越了單純的速度競賽。比如說如果模型能夠準(zhǔn)確預(yù)測“兩秒后前方車輛會因?yàn)閼T性繼續(xù)滑行兩米”，這個(gè)信息對于緊急制動(dòng)的決策價(jià)值，遠(yuǎn)高于“那個(gè)地方有一輛車”的語義標(biāo)簽。

值得注意的是，GenieDrive的高效性并不來自單一算法的突破，而是來自“4D表示+物理先驗(yàn)+端到端聯(lián)合優(yōu)化”的協(xié)同設(shè)計(jì)。它代表了2026年大廠在高效視覺表征上的另一條路徑：不只是讓模型跑得更快，而是讓模型“想得更少、做得更準(zhǔn)”。

論文地址：

https://www.paperdigest.org/paper/?paper_id=cvpr-36900-2026-04-21

05

結(jié)語：算法天才的元年

縱觀字節(jié)跳動(dòng)Seed團(tuán)隊(duì)在CVPR 2026上這四篇論文，一個(gè)清晰的敘事正在浮現(xiàn)：算力封鎖并沒有殺死創(chuàng)新，反而催生了一種更精致的工程哲學(xué)。

TEMF用“時(shí)間均衡”彌合了訓(xùn)練與推理的結(jié)構(gòu)裂縫，讓一步生成從不可能變成了工程現(xiàn)實(shí)；

Beyond Token Eviction用“混合維度”重新定義了信息的取舍策略，讓顯存壓縮從粗暴刪除變成了精細(xì)調(diào)控；

Mixture-of-Depths讓計(jì)算資源學(xué)會了「按需分配」，讓模型自己成為計(jì)算預(yù)算的聰明管家；

GenieDrive則將高效表征引向了物理可解釋的端側(cè)應(yīng)用，讓速度競賽升維為智能競賽。

這四條路徑指向同一個(gè)結(jié)論：2026年不是“大模型時(shí)代的終結(jié)”，而是“聰明模型時(shí)代的元年”。當(dāng)暴力堆砌算力的路徑變得不可持續(xù)，那些能夠用更少資源做更多事情的算法天才，正在成為這個(gè)時(shí)代最稀缺的人才。

對于CTO和云廠商而言，字節(jié)的這組論文給出了一個(gè)清晰的信號：與其等待下一代芯片的算力提升，不如今天就擁抱這些算法優(yōu)化帶來的降本紅利。

對于軟硬件開發(fā)者而言，這意味著新的機(jī)會窗口正在打開：適配ELSA這類硬件無關(guān)內(nèi)核的編譯器優(yōu)化、基于動(dòng)態(tài)注意力路由的模型壓縮工具、面向4D物理感知模型的端側(cè)部署框架，每一個(gè)環(huán)節(jié)都是尚未被充分開采的富礦。

算力封鎖的本質(zhì)是一道經(jīng)濟(jì)命題，但它的解法，最終要靠算法給出。

這次去 CVPR 現(xiàn)場，一定不要錯(cuò)過

【認(rèn)識大牛+賺外快】的機(jī)會

需要你做什么：把你最關(guān)注的10個(gè)大會報(bào)告，每頁P(yáng)PT都拍下來

你能獲得什么？

認(rèn)識大牛：你將可以進(jìn)入CVPR名師博士社群；

錢多活少：提供豐厚獎(jiǎng)金，任務(wù)量精簡；

聽會自由：你的行程你做主，順手就把外快賺。拍下你最感興趣的10個(gè)報(bào)告PPT即可。

如果你即將前往CVPR，想邊聽會邊賺錢，還能順便為AI學(xué)術(shù)社區(qū)做貢獻(xiàn)、認(rèn)識更多大牛，歡迎聯(lián)系我們：[添加微信號:MS_Yahei]

【限額5位，先到先得】

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。