DECS從源頭消除冗余思考，實(shí)現(xiàn)推理token減半且性能不降反升

本文作者來自復(fù)旦大學(xué)、上海交通大學(xué)和上海人工智能實(shí)驗(yàn)室。一作江書洋為復(fù)旦大學(xué)和實(shí)驗(yàn)室聯(lián)培博士生，目前是實(shí)驗(yàn)室見習(xí)研究員，師從上海交通大學(xué)人工智能學(xué)院的王鈺教授和張婭教授。

以 DeepSeek-R1、OpenAI GPT Thinking 為代表的大型推理模型，通過長達(dá)數(shù)千 token 的「思維鏈」在各類復(fù)雜推理任務(wù)中展現(xiàn)出卓越的性能。然而，這些模型普遍存在一個(gè)核心問題，即過度思考（overthinking） ：即便模型已得出正確答案，其推理過程中仍反復(fù)出現(xiàn)「wait...」「let me check...」「alternatively...」等自我修正與回溯性表達(dá)，造成大量冗余計(jì)算，帶來大量無意義計(jì)算開銷。

這一現(xiàn)象已引起學(xué)術(shù)界與工業(yè)界的廣泛關(guān)注。一種直觀的解決策略是引入「對(duì)長推理的懲罰機(jī)制」，即在強(qiáng)化學(xué)習(xí)訓(xùn)練過程中加入對(duì)過長推理序列的長度懲罰獎(jiǎng)勵(lì)項(xiàng)，以促使模型生成更為簡潔的推理路徑。

然而，實(shí)際操作中面臨顯著困難：若加重懲罰力度，模型傾向于省略必要的推理步驟，導(dǎo)致性能顯著下降；若減輕懲罰力度，冗余推理依舊存在，效率難以提升。因此，推理效率與性能之間難以實(shí)現(xiàn)有效平衡。

在這篇 ICLR 2026 的 Oral 論文中，來自復(fù)旦大學(xué)、上海交通大學(xué)和上海人工智能實(shí)驗(yàn)室的研究團(tuán)隊(duì)首次從理論層面系統(tǒng)揭示了「長度懲罰」策略的根本局限性，并基于此提出了一套全新的訓(xùn)練框架 DECS，在五項(xiàng)域內(nèi)基準(zhǔn)和兩項(xiàng)域外基準(zhǔn)測試中，均實(shí)現(xiàn)了推理長度減少超過 50% 的顯著成效，同時(shí)模型準(zhǔn)確率不降反升。

• 論文地址：https://openreview.net/forum?id=kdeiRledV6
• 項(xiàng)目地址：https://pixas.github.io/decs-iclr26-site/

長度懲罰為何總是「誤傷好人」？

研究團(tuán)隊(duì)對(duì)當(dāng)前主流強(qiáng)化學(xué)習(xí)框架（如 GRPO）中的序列長度懲罰機(jī)制進(jìn)行了一次深入的理論分析，相關(guān)證明可詳見論文原文，結(jié)論揭示了兩個(gè)此前從未被系統(tǒng)性指出的致命缺陷：

缺陷一：對(duì)高熵探索 token 的無差別攻擊。模型在推理過程中生成的「wait」「however」「alternatively」等高熵 token，本質(zhì)上是邏輯銜接的「狀態(tài)轉(zhuǎn)移」，是找到正確答案所必需的探索行為。然而序列級(jí)的長度懲罰不區(qū)分 token 類型，一條正確的長推理鏈上的所有 token 都會(huì)均勻地收到負(fù)面梯度信號(hào)。當(dāng)訓(xùn)練數(shù)據(jù)中簡單題占多數(shù)、且各題回答長度差異大時(shí)，這種對(duì)高熵 token 的壓制會(huì)不斷累積，最終導(dǎo)致模型喪失探索能力，過早收斂到次優(yōu)策略。

缺陷二：對(duì)局部冗余的「變相獎(jiǎng)勵(lì)」。團(tuán)隊(duì)引入了一個(gè)極為關(guān)鍵的概念 ——必要推理前綴（Necessary Reasoning Prefix, NRP） ，即從推理開始到首次得出正確答案所需的最短 token 序列。在 NRP 之后多出來的所有 token，本質(zhì)上都是冗余。然而，現(xiàn)有的序列級(jí)獎(jiǎng)勵(lì)機(jī)制中，一條已經(jīng)包含了 NRP 的較短回答，其 NRP 之后的冗余 token 可能仍然會(huì)收到正獎(jiǎng)勵(lì)，因?yàn)檎麠l序列在組內(nèi)相對(duì)較短。這種「獎(jiǎng)勵(lì)冗余」的信號(hào)嚴(yán)重扭曲了優(yōu)化方向，讓模型學(xué)不會(huì)在該停的時(shí)候停下來。

圖 1 序列長度懲罰的兩個(gè)副作用

DECS：一次「解耦」如何根治過度思考

基于上述兩個(gè)理論發(fā)現(xiàn)，DECS 從兩個(gè)維度對(duì)訓(xùn)練過程進(jìn)行了精準(zhǔn)重構(gòu)：

第一步：解耦 token 級(jí)獎(jiǎng)勵(lì)，精準(zhǔn)識(shí)別并懲罰冗余。

團(tuán)隊(duì)訓(xùn)練了一個(gè)輕量級(jí)的 NRP 檢測器（judge model），用于定位推理鏈中從起始到第一個(gè)包含正確答案的「塊」之間的所有 token。一旦確定了 NRP 的邊界，DECS 就會(huì)對(duì)獎(jiǎng)勵(lì)函數(shù)進(jìn)行「解耦」：NRP 范圍內(nèi)的必要推理 token 永遠(yuǎn)不受懲罰；而 NRP 之后出現(xiàn)的每一個(gè)冗余推理 token，都會(huì)恒定為負(fù)獎(jiǎng)勵(lì)。

通過解耦必要 token 和冗余 token，算法確保了模型只被禁止「畫蛇添足」，而非在推理的每一步都進(jìn)行無效思考，但并不影響模型通過反思和多樣化推理推導(dǎo)得到正確答案。

第二步：課程式批次調(diào)度，保護(hù)探索能力不受傷。

懲罰冗余雖然直接，但也存在一個(gè)隱憂：在訓(xùn)練早期，懲罰信號(hào)可能無意中波及到那些看似冗余、實(shí)為探索的高熵 token。DECS 的做法是動(dòng)態(tài)調(diào)整訓(xùn)練 batch 中簡單題的比例：當(dāng)模型當(dāng)前的平均 NRP 占比較低（即冗余還比較多）時(shí)，就少放簡單題；隨著訓(xùn)練推進(jìn)、冗余逐步減少，再逐漸提高簡單題的比重。

這套課程數(shù)據(jù)調(diào)度策略本質(zhì)上是一個(gè)緩沖機(jī)制，在確保冗余被充分壓縮的同時(shí)，給模型留出充足的探索空間，避免「一刀切」式的懲罰扼殺了推理的多樣性。

圖 2 DECS 訓(xùn)練示意圖

實(shí)驗(yàn)驗(yàn)證：多個(gè)數(shù)據(jù)集推理長度砍半，性能反升

實(shí)驗(yàn)覆蓋了 DeepSeek-R1-Distill-1.5B、7B 以及 Qwen3-4B 三個(gè)主流基座模型，在 AIME2024/2025、MATH500、GPQA-Diamond、LiveCodeBench-v6 等七個(gè)數(shù)學(xué)、科學(xué)與編程基準(zhǔn)上進(jìn)行了系統(tǒng)評(píng)估。

結(jié)果令人矚目：在 1.5B 模型上，DECS 將平均推理 token 數(shù)量削減了57.17%，而 Pass@1 準(zhǔn)確率反而提升了2.48 個(gè)百分點(diǎn)；在更成熟的 7B 模型上，盡管模型本身的過度思考程度較輕，DECS 依然砍掉了49.50%的思考 token，同時(shí)帶來0.8 個(gè)百分點(diǎn)的準(zhǔn)確率增益。在與 ThinkPrune、TLMRE、LC-R1 等主流基線方法的對(duì)比中，DECS 在效率 - 性能綜合指標(biāo)（AES score）上分別以0.12 和 0.14的優(yōu)勢顯著領(lǐng)先。

更關(guān)鍵的是跨域泛化能力：DECS 的 NRP 檢測器僅使用數(shù)學(xué)語料訓(xùn)練，但其效率優(yōu)勢卻強(qiáng)有力地遷移到了科學(xué)推理（GPQA-Diamond，56.33%token 縮減）和編程任務(wù)（LiveCodeBench-v6，33.52%token 縮減）上。

這驗(yàn)證了一個(gè)更深層的洞見 ——過度思考是一個(gè)跨領(lǐng)域的系統(tǒng)性現(xiàn)象，而 DECS 的機(jī)制足夠本質(zhì)，可以無差別地將模型從冗余推理中解放。

表 1 DECS 性能對(duì)比

消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了兩個(gè)核心組件的互補(bǔ)關(guān)系：去掉課程式調(diào)度，模型在壓縮推理的同時(shí)出現(xiàn)了顯著的性能退化，印證了文章中揭示的探索抑制問題；而單獨(dú)去掉解耦獎(jiǎng)勵(lì)，模型仍然殘留約25%的冗余 token，佐證了序列級(jí)獎(jiǎng)勵(lì)無法消除全部冗余的結(jié)論。

圖 3 消融實(shí)驗(yàn)對(duì)比：解耦獎(jiǎng)勵(lì)和課程調(diào)度都至關(guān)重要

意義與啟示

DECS 這項(xiàng)工作的核心價(jià)值，并不在于其幾乎無損的壓縮指標(biāo)本身，而在于它所提出的問題以及從理論視角證明的結(jié)論。

當(dāng)前，業(yè)界普遍聚焦于「如何讓模型更善于思考」，卻鮮有研究從系統(tǒng)性與理論層面回答兩個(gè)更為根本的問題：「什么不值得思考？」以及「何時(shí)應(yīng)當(dāng)停止思考？」。

DECS 通過嚴(yán)謹(jǐn)?shù)睦碚摲治雠c扎實(shí)的實(shí)驗(yàn)驗(yàn)證，證明了高效推理的真正瓶頸并非模型的能力邊界，而在于訓(xùn)練目標(biāo)的精妙設(shè)計(jì)。

對(duì)于那些正受困于推理大模型高昂成本與延遲的部署者而言，DECS 提供了一套無需犧牲精度、完全開源的技術(shù)方案，相關(guān)代碼已開源于 GitHub。

同時(shí)，DECS 入選 ICLR 2026 Oral 的認(rèn)可也進(jìn)一步印證：要從根本上緩解「過度思考」問題，優(yōu)化必須回歸獎(jiǎng)勵(lì)函數(shù)的本質(zhì)，從策略梯度的底層機(jī)制入手，在源頭消除冗余推理 token。