Agent 自己學(xué) Skill，到底學(xué)得怎么樣？CMU 首個(gè)系統(tǒng)性基準(zhǔn)來了

CMU和Amazon AGI推出首個(gè)Agent Skill持續(xù)學(xué)習(xí)系統(tǒng)性基準(zhǔn)SkillLearnBench，把答案拆到了Skill 生成、調(diào)用、執(zhí)行的每一層。

Skill 擴(kuò)展了 AI Agent 的能力邊界，也讓“給 Agent 配一本技能手冊(cè)”的思路受到廣泛關(guān)注。開發(fā)者們開始嘗試把自己的經(jīng)驗(yàn)“蒸餾”為各式各樣的 Skill，讓 Agent 在執(zhí)行任務(wù)中直接調(diào)用。

但熱度背后，一個(gè)根本矛盾始終存在：高質(zhì)量 Skill 依賴人類專家手工編寫，而真實(shí)世界的任務(wù)千變?nèi)f化，任何預(yù)先準(zhǔn)備好的技能庫都很難覆蓋所有情況。

于是，越來越多研究者開始把目光轉(zhuǎn)向Skill 的持續(xù)學(xué)習(xí) (Skill Continual Learning)：讓 Agent 在執(zhí)行任務(wù)的過程中自動(dòng)積累 Skill，邊干邊學(xué)，而不是等人來寫。

但隨之而來的問題是：怎么去衡量不同持續(xù)學(xué)習(xí)方法的好壞？不同方法生成的 Skill 到底好在哪里、差在哪里？現(xiàn)有方法往往在各自的數(shù)據(jù)集和任務(wù)環(huán)境中進(jìn)行驗(yàn)證，缺乏統(tǒng)一評(píng)測(cè)環(huán)境；評(píng)估指標(biāo)也大多停留在任務(wù)成功率層面，難以進(jìn)一步區(qū)分失敗原因：是 Skill 本身質(zhì)量的問題，還是 Agent 沒有正確調(diào)用 Skill？

為回答這些問題，來自 Carnegie Mellon University 和 Amazon AGI 的研究團(tuán)隊(duì)提出了SkillLearnBench：首個(gè)面向 Agent Skill Continual Learning 的系統(tǒng)性評(píng)測(cè)基準(zhǔn)，旨在統(tǒng)一環(huán)境下從 Skill 本身質(zhì)量、Agent 執(zhí)行軌跡、最終任務(wù)結(jié)果 三個(gè)層面評(píng)估不同 Skill Continual Learning 方法的表現(xiàn)。

論文鏈接：https://arxiv.org/abs/2604.20087

開源代碼倉庫：https://github.com/cxcscmu/SkillLearnBench

網(wǎng)站：https://cxcscmu.github.io/SkillLearnBench/

01

SkillLearnBench:

首個(gè) Agent Skill Continual Learning 的系統(tǒng)性基準(zhǔn)

SkillLearnBench 的任務(wù)集圍繞一個(gè)核心標(biāo)準(zhǔn)構(gòu)建：這些任務(wù)必須真正依賴 Skill，即 Agent 在沒有 Skill 的情況下難以穩(wěn)定完成。每個(gè)任務(wù)都配有人類編寫的 Skill （Human-authored），并包含多個(gè)經(jīng)過改寫的實(shí)例；這些實(shí)例通過改變輸入數(shù)據(jù)、參數(shù)、約束條件或任務(wù)表述，檢驗(yàn)生成的 Skill 是否真正學(xué)到了可遷移的任務(wù)流程，而不是只對(duì)單個(gè)樣例有效。最終，SkillLearnBench 包含 20 個(gè)技能依賴任務(wù)、100 個(gè)任務(wù)實(shí)例，覆蓋軟件工程、信息檢索、數(shù)據(jù)分析等 6 大類別、15 個(gè)子領(lǐng)域。同時(shí)，每個(gè)實(shí)例都配有確定性的 verifier，用于判斷 Agent 是否真正完成任務(wù)。

SkillLearnBench 的另一個(gè)關(guān)鍵設(shè)計(jì)是構(gòu)建了一套多維度評(píng)估框架。研究者認(rèn)為，一個(gè) Skill 的持續(xù)學(xué)習(xí)方法首先會(huì)生成 Skill 文檔本身，隨后會(huì)影響 Agent 的執(zhí)行軌跡，最終才決定任務(wù)結(jié)果；如果只看最終準(zhǔn)確率，就很難判斷方法到底失敗在哪一步。因此，SkillLearnBench 將評(píng)估拆成三個(gè)層面：

1. Skill Quality，即 Skill 本身寫得怎么樣。研究團(tuán)隊(duì)提出了 coverage、executability 和 safety 三個(gè)指標(biāo)去評(píng)估生成的 Skill：它是否覆蓋了解題所需的關(guān)鍵知識(shí)，是否足夠完整、前后邏輯一致且可復(fù)用，以及是否存在安全風(fēng)險(xiǎn)。

2. Trajectory Analysis，即 Agent 使用 Skill 后的執(zhí)行軌跡是否合理。這里不僅看 Agent 是否調(diào)用了 Skill ，還會(huì)分析是否按照正確順序完成關(guān)鍵操作。

3. Task Outcome，即最終任務(wù)是否成功，以及完成任務(wù)消耗了多少 token。

02

實(shí)驗(yàn)結(jié)果

論文在 SkillLearnBench 上評(píng)估了四種代表性的 Skill 持續(xù)學(xué)習(xí)方法：

1. One-Shot：?jiǎn)屋喩?Skill，不進(jìn)行反饋修正。

2. Self Feedback：Agent 先生成 Skill 并嘗試任務(wù)，再根據(jù)自己的執(zhí)行過程反思和修改 Skill 。

3. Teacher Feedback：引入外部 teacher，根據(jù)失敗情況給出修改建議，引導(dǎo) Agent 多輪改進(jìn) Skill 。

4.Skill Creator：使用 Anthropic 官方的 skill-creator 引導(dǎo) Agent 生成 Skill。

主要發(fā)現(xiàn)：持續(xù)學(xué)習(xí)方法能夠生成有效 Skill，但與人類編寫 Skill 仍有明顯差距

表 2 中的實(shí)驗(yàn)結(jié)果顯示，所有持續(xù)學(xué)習(xí)方法整體上都優(yōu)于 no-skill baseline。即便當(dāng)前自動(dòng)生成的 Skill 并不完美，它們?nèi)匀荒軌驗(yàn)?Agent 提供一定幫助。

但是，這些方法生成的 Skill 與人類專家編寫的 Skill 之間仍存在顯著差距。no-skill baseline 的平均準(zhǔn)確率約為 10.17%，人類專家編寫的 Skill 可達(dá)到 74.50%；相比之下，當(dāng)前自動(dòng)生成 Skill 的方法大多停留在 27%–31% 左右。也就是說，持續(xù)學(xué)習(xí)方法確實(shí)能夠提升 Agent 表現(xiàn)，但也只是填補(bǔ)了 no-skill baseline 與人類專家編寫 Skill 之間的一部分差距。

其中，Self Feedback 在平均準(zhǔn)確率和 token 效率上表現(xiàn)相對(duì)最好；Skill Creator 的 Skill 調(diào)用率最高，但準(zhǔn)確率并不總是最高。這說明一個(gè)重要問題：Skill 被頻繁調(diào)用，并不代表它真的包含了解題所需的核心邏輯。

更強(qiáng)的模型不一定生成更好的 Skill

一個(gè)反直覺發(fā)現(xiàn)是：更強(qiáng)的 LLM 并不穩(wěn)定地產(chǎn)生更好的 Skill。較強(qiáng)模型有時(shí)會(huì)寫出更精確但也更“死板”的 Skill。這種 Skill 在當(dāng)前實(shí)例上看似合理，但在任務(wù)實(shí)例變化后反而容易失效。相比之下，中等規(guī)模模型有時(shí)能在具體性和泛化性之間取得更好的平衡。

這說明 Skill 生成并不是單純靠擴(kuò)大模型規(guī)模就能解決的問題。一個(gè)好的 Skill 不僅要“說得多、說得細(xì)”，還要抓住跨實(shí)例穩(wěn)定存在的核心任務(wù)邏輯。

當(dāng)前 Skill 持續(xù)學(xué)習(xí)方法更適合結(jié)構(gòu)化任務(wù)，開放式任務(wù)仍是難點(diǎn)

論文還發(fā)現(xiàn)， Skill 持續(xù)學(xué)習(xí)方法能帶來多少收益，很大程度上取決于任務(wù)類型。如表 3 所示，在 Software Engineering 和 Productivity Tools 這類任務(wù)中，流程相對(duì)清晰、可復(fù)用，Skill 可以編碼較為穩(wěn)定的操作步驟，帶來的提升更明顯。相反，在開放性更強(qiáng)、實(shí)例差異更大的任務(wù)中，持續(xù)學(xué)習(xí)方法生成的 Skill 可能反而過度約束了Agent。

這也帶來一個(gè)啟示：未來的 Agent Skill 生成方法不能只依賴統(tǒng)一的模板，而需要根據(jù)任務(wù)類型調(diào)整生成 Skill 的粒度、結(jié)構(gòu)和調(diào)用方式。

外部反饋比自我反思更能帶來改進(jìn)

在多輪 Skill 演化實(shí)驗(yàn)中，Teacher Feedback 和 Self Feedback 呈現(xiàn)出明顯差異。如圖 4 所示，Self Feedback 在多輪反思后并不總能持續(xù)進(jìn)步，甚至可能出現(xiàn) recursive drift：Agent 反復(fù)修改 Skill，但沒有新的外部信息輸入，只是重組已有內(nèi)容，結(jié)果逐漸偏離正確執(zhí)行路徑。相反，Teacher Feedback 由于引入了外部指導(dǎo)，能夠在多輪中持續(xù)補(bǔ)充缺失信息，使 Skill 的 coverage 指標(biāo)和對(duì)應(yīng)任務(wù)表現(xiàn)逐步提升。

因此，有效的 Skill Continual Learning 方法需要引入可靠的外部信號(hào)，例如 verifier 反饋、專家反饋，而不是單純依賴模型自我反思。

03

總結(jié)

SkillLearnBench 不只是提出了一個(gè)新的 benchmark，也為 Agent Skill 持續(xù)學(xué)習(xí)的研究提供了一個(gè)更細(xì)粒度的分析框架：從 Skill 生成，到 Skill 調(diào)用，再到任務(wù)完成，逐層定位瓶頸。它系統(tǒng)性地回答了當(dāng)前 Agent 研究中的一個(gè)關(guān)鍵問題：目前的持續(xù)學(xué)習(xí)方法是否真的能夠生成有效 Skill？

答案是：可以，但還遠(yuǎn)遠(yuǎn)不夠。

SkillLearnBench 的實(shí)驗(yàn)結(jié)論也為后續(xù)研究帶來啟示：未來的 Skill 生成研究不能只關(guān)注 Skill 文檔是否寫得“豐富”，而要關(guān)注兩個(gè)更關(guān)鍵的問題。

第一，Skill 是否真正捕捉解決任務(wù)的核心邏輯。很多失敗并不是因?yàn)?Skill 格式不規(guī)范，或者寫得不夠長(zhǎng)，而是因?yàn)樗鄙訇P(guān)鍵計(jì)算步驟、參數(shù)選擇邏輯、驗(yàn)證機(jī)制或工具調(diào)用細(xì)節(jié)。

第二，Skill 是否能被 Agent 正確發(fā)現(xiàn)、調(diào)用并執(zhí)行。一個(gè)好的 Skill 不只是靜態(tài)文檔，也必須能進(jìn)入 Agent 的實(shí)際決策過程，改變執(zhí)行軌跡，并最終提高任務(wù)成功率。

隨著 Agent 從一次性任務(wù)執(zhí)行走向長(zhǎng)期自主學(xué)習(xí)，如何讓它們從經(jīng)驗(yàn)中提煉、保存并復(fù)用高質(zhì)量 Skill，將成為構(gòu)建下一代智能體系統(tǒng)的重要問題。SkillLearnBench 為這一方向提供了首個(gè)系統(tǒng)化評(píng)測(cè)平臺(tái)，也為后續(xù)研究指出了清晰的改進(jìn)路徑。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號(hào)名片。