復旦提出簡單指標，找出推理蒸餾中真正有教學價值的數據

什么樣的思維鏈，能「教會」學生更好地推理？

許多人都有這樣的學習體驗：內容過于熟悉，難以帶來新的收獲；內容過于陌生，又往往超出理解能力，難以消化吸收。

類似的現象同樣出現在大語言模型的推理蒸餾中。來自能力更強的教師模型的思維鏈，可能過于晦澀，學生模型難以掌握其推理模式；而與學生認知相近的教師模型，其推理軌跡又常常缺乏新信息，難以帶來實質提升。

因此，要獲得理想的蒸餾效果，關鍵在于為不同學生模型選擇恰好合適的數據，在「熟悉」與「陌生」之間找到最佳平衡。然而，現有基于概率的篩選或度量方法（如 Perplexity）難以刻畫這種細粒度的適配關系。

那么，是否存在一種直觀且易于計算的數據適配度指標，能夠量化這種平衡？

來自復旦大學和上海人工智能實驗室的研究者提出了一種簡單而有效的度量方法，Rank-Surprisal Ratio (RSR)：

RSR 從學生模型的視角出發，綜合考慮樣本的信息量與對齊程度，旨在找出那些既足夠「新」，又未超出學生認知邊界的推理數據。

在大規模蒸餾實驗中，RSR 與學生模型后訓練性能的相關性高達 0.86，并且可以直接用于篩選推理軌跡以及選擇教師模型，無需實際訓練即可找到更合適的思維鏈數據。

• 論文鏈接：https://arxiv.org/pdf/2601.14249
• 代碼鏈接：https://github.com/UmeanNever/RankSurprisalRatio

反直覺的現象

長思維鏈（CoT）的生成被普遍認為是大模型推理能力的核心。相應地，包含長思維鏈的推理軌跡常被視為高質量的監督信號，可以用于有監督微調（SFT）訓練學生模型，或助力強化學習的冷啟動。

但越來越多的實驗呈現出一個反直覺現象：教師模型越強，學生模型未必學得越好。

在這篇工作中，作者系統性地構建了 11 個 teacher（教師模型）× 5 個 student（學生模型）的蒸餾實驗，覆蓋從 4B 到 671B 的主流推理模型。結果顯示：

• teacher 的參數規模、推理準確率與 student 的推理提升相關性很弱；
• 同一個 teacher 的數據在不同 student 上的訓練效果差異顯著；
• 跨模型家族的 teacher（如 GPT-OSS → Qwen）往往效果更差；
• 推理數據是否「適合」當前 student 是關鍵。

表一：蒸餾實驗結果，在多個數學 benchmark 上評測 student 模型使用 teacher 數據訓練后的性能。

現有數據篩選方法的問題

當前主流的數據篩選或評估方法，大多依賴一個信號：student 模型生成該數據的概率（perplexity /log-likelihood/surprisal），認為 student 覺得「自然」的數據就更容易學。

但問題在于：

• 太「自然」的推理數據，往往信息增量有限；
• 真正有價值的推理數據，恰恰是 student 尚未充分掌握的部分。

這就引出了論文試圖解決的核心矛盾 ——Informative Alignment Challenge：如何在提供新知識的 informativeness 與符合學生當前認知的 alignment 之間取得平衡？

關鍵洞察

「絕對陌生 (Absolute unfamiliarity) + 相對熟悉 (Relative familiarity)」的推理數據最有學習價值

面對看似難以兼顧的「熟悉 - 陌生」的平衡，作者從 token 級別重新審視 student 的預測分布，提出一個直觀、但之前被忽略的視角：

• Informativeness 關注的是當前 token 在概率層面的絕對陌生度，可由 Surprisal（?log p / 負對數似然）刻畫；
• Alignment 關注的是當前 token對比其它候選 token 的相對熟悉度，可由 Rank（在詞表預測中的名次）衡量。

在這一視角下，一個 token 可以同時滿足：

• 被 student 生成的概率不高（informative）
• 但在候選詞表中排名靠前（aligned）

因此，informativeness 與 alignment 并非天然沖突。恰恰是同時滿足這兩點的 token，構成了最適合 student 學習的推理數據。

圖一：Rank-Surprisal Ratio 的設計動機 —— 合適的推理數據應當兼顧 informativeness 與 alignment

直觀的指標：Rank-Surprisal Ratio

基于前文在 token 級別的觀察，以及相關仿真分析與數學推導，論文提出了一個形式上極其簡潔的樣本級指標：

直覺解釋：

• 分子（Rank）越小，表示當前樣本越符合 student 的行為模式，對齊程度（alignment）越高；
• 分母（Surprisal）越大，表示當前樣本提供的信息量越充分，信息性（informativeness）越強；
• RSR 越小 → 信息量與對齊程度的平衡越好。

在實現上：

• 僅需對 student 進行一次前向計算；
• 不依賴 verifier 或額外測試數據；
• 融合了 rank clipping 與 surprisal 加權平均機制，在極端情況下具有更好的數值穩定性。

實驗：與訓練效果的相關性

作者將 RSR 與多種已有指標進行了對比，包括 teacher 模型及訓練數據的若干統計量、常用的數據質量評估方法、基于概率的指標，以及其他基于 student 模型計算的指標。

實驗結果在 5 個 student 模型上高度一致：RSR 與 student 模型后訓練性能的 Spearman 相關系數平均達到 0.86，顯著高于其它指標。

表二：不同指標與模型后訓練推理性能之間的相關性

在實際場景中的應用

場景 1：Trajectory Selection (選擇最合適的推理軌跡數據）

• 在該場景中，針對訓練集中的每一道題目，作者從多個 teacher 模型生成的 33 條候選思維鏈中，依據不同指標選擇一條最合適的推理軌跡，從而構建用于訓練 student 的推理數據集。
• 實驗結果表明，基于 Rank-Surprisal Ratio 篩選得到的數據，在不同 student 模型上訓練后均取得了最優的推理性能，優于其它方法。

表三：不同數據篩選方法的后訓練性能

場景 2：Teacher Selection（選擇最合適的教師模型）

• 在該場景中，作者僅使用每個 teacher 模型生成的 200 條推理軌跡來估計其與不同 student 的適配程度，從而模擬實際蒸餾前的 teacher 選擇過程。
• 實驗結果顯示，RSR 能穩定選出接近 oracle（真實最優）的 teacher 模型，整體表現優于其它方法。

表三：不同 teacher 模型選擇方法的表現

結語

這項工作重新審視了推理蒸餾中一個看似簡單卻難以回答的的問題：什么樣的推理軌跡能「教會」student 更好地推理。通過將 token 的 相對熟悉度（rank） 與 絕對信息量（surprisal） 結合，Rank-Surprisal Ratio 給出了一個直觀、易于計算、且在大規模實驗中被驗證有效的答案。

更重要的是，RSR 并不依賴額外的評估數據或驗證器，而是直接從 student 的視角出發刻畫數據價值。這使它不僅是一個分析工具，也具備作為實際數據工程指標的潛力。

向前看，這種「informative alignment」的視角或許可以進一步擴展到：

• 更通用的 reasoning 任務（如 code、tool use）；
• 推理軌跡的重寫與合成，而不僅是選擇；
• 以及與 On-policy Distillation、RL 結合的動態數據調度。

當推理模型的瓶頸逐漸從「規模」轉向「數據的高效利用」，理解哪些思維過程真正具有教學價值，可能將成為下一階段 post-training 的關鍵問題。

作者介紹

楊宇銘，復旦大學自然語言處理實驗室博士生，導師為張奇教授。本科畢業于復旦大學數學系，碩士畢業于密歇根大學統計學系。博士階段前曾在微軟擔任數據科學家。研究方向為自然語言處理與大語言模型，作為第一作者或共同第一作者在 ACL、EMNLP、NeurIPS 等頂級會議發表多篇論文。