上海創新研究院×AGIBOT Finch：讓機器人邊干邊學，越用越聰明

這項研究由上海創新研究院與AGIBOT Finch公司聯合主導，哥倫比亞大學參與協作，論文于2026年5月1日以預印本形式發布于arXiv平臺，編號為arXiv:2605.00416v1，分類為cs.RO（機器人學）。有興趣深入了解的讀者可以通過該編號在arXiv上查閱完整原文。

**一個在商店里工作的機器人會遇到哪些麻煩？**

假設你在一家超市，雇了一個機器人來幫你把貨架上的商品擺放整齊。訓練它的時候，你錄了幾千段視頻，讓它反復看人類怎么把飲料放進冷柜、怎么把錯放的商品歸位，然后讓它去工作。頭幾天還不錯，但某天來了一批從沒見過的新包裝牛奶，或者冷柜的門被人擺歪了，機器人就開始犯難——它見過的都是"標準情況"，可現實世界從來不標準。

這正是今天幾乎所有機器人系統面臨的根本困境：在實驗室里訓練得再好，出門就可能碰壁。研究人員把這個現象叫做"分布偏移"，用更日常的話說就是：考試題和練習題不一樣。

這項研究提出的框架名叫**"邊部署邊學習"（Learning While Deploying，LWD）**，核心想法非常直接：與其把部署當成訓練結束的終點，不如把它當成持續學習的開始。機器人每天在真實環境里工作，積累的每一次成功、每一次失敗、每一次被人類糾正，都成為讓它變得更好的原材料。這套系統在16臺雙臂機器人組成的機器人車隊上完成驗證，覆蓋了8種真實任務，最終讓一個共用的"通用機器人大腦"把平均成功率提升到了95%。

**一、為什么以前的方法不夠用**

要理解LWD的價值，需要先搞清楚"舊方法"卡在哪里。

目前主流的機器人訓練方式，大致像這樣：先收集大量人類操作視頻，讓機器人反復模仿，形成一個初始能力；然后把機器人放出去部署，發現問題之后再收集更多數據，重新訓練，再部署。這個循環被稱為"收集-訓練-部署"。問題在于，每次更新之間存在一段時間的空白，機器人在這段時間里無法從實際使用中成長。更關鍵的是，那些只在部署過程中才會出現的罕見失敗——比如某個奇特角度的物體擺放，或者某個用戶特別的使用習慣——往往很難被提前錄入訓練數據。

另一類方法叫做強化學習（Reinforcement Learning，RL），思路是不依賴人類示范，而是讓機器人自己不斷嘗試，用"成功就加分、失敗就扣分"的方式摸索出最優行為。這和人類學騎自行車的方式很像——摔幾次就知道怎么保持平衡了。強化學習在原理上非常適合處理"分布偏移"和長期復雜任務，但它有一個致命弱點：它通常需要從零開始探索，效率極低，而且很難同時學習多種不同任務，更適合單項技能的專精而非通用能力的培養。

還有一類方法叫做"交互式模仿學習"，代表是HG-DAgger（人機協作數據聚合）。它允許人類在機器人工作時隨時接管并提供正確示范，機器人從這些實時糾正中學習。這比純錄像模仿要強，但仍然只用了數據的一部分——它只從"人類做了什么"中學習，而完全忽視了"機器人自己失敗了什么"。一次失敗本身其實包含大量信息，但在這類方法里被白白丟掉了。

LWD的野心是把這三條路的優勢拼到一起：既擁有通用大模型的廣泛知識基礎，又能持續從部署數據中強化學習，還能把人類實時干預納入學習信號，并且一套系統同時服務多個不同任務，讓整支機器人車隊共同進步。

**二、機器人車隊：把"一臺機器人的經驗"變成"所有機器人的智慧"**

單臺機器人每天能接觸到的場景有限，就像一個只在同一家店上班的店員，永遠不會知道隔壁街的店是什么樣。但如果有16臺機器人同時在不同場景里工作，它們加起來就能接觸到遠比任何一臺多得多的情況——不同的貨架布局、不同的用戶、不同的操作失誤、不同的物品組合。

LWD的核心機制是讓這16臺機器人共享一個"大腦"（也就是一個共同的AI模型），并且這個大腦會持續更新。具體流程是這樣的：所有機器人在工作的同時，把自己的操作數據——無論成功還是失敗——實時上傳到云端服務器。云端的"中央學習系統"把這些數據匯總，結合之前積累的大量歷史數據，不斷優化這個共享大腦，然后把最新版本的"大腦"推送回所有機器人。機器人下一次工作時，用的就是更新后的版本。

這個循環被研究者稱為"數據飛輪"——部署越多，數據越多；數據越多，模型越好；模型越好，部署表現越強；部署越強，又產生更有價值的數據。飛輪一旦轉起來，就能自我加速。

在實際部署中，這16臺機器人是Agibot G1雙臂操作平臺，每臺有兩條7個關節的機械臂、平行夾爪，以及三個RGB攝像頭（一個頭部視角、兩個腕部視角）。它們每秒發出30次動作指令，做的事情涵蓋超市補貨和長達3到5分鐘的復雜操作任務。

**三、讓機器人既懂"什么值得做"又會"怎么去做"：兩個技術核心**

要讓強化學習真正在這套系統里運轉，必須解決兩個根本問題。第一個問題是：機器人怎么知道自己做得好不好？第二個問題是：知道了好壞之后，怎么調整自己的行動？

LWD用兩個相互配合的技術模塊來回答這兩個問題，一個叫DIVL，一個叫QAM。可以把它們理解為機器人大腦里的"評判者"和"執行者"——評判者負責打分，執行者根據分數改進行動。

**評判者：分布式隱式價值學習（DIVL）**

先來說評判者。在強化學習里，有一個核心工具叫"價值函數"，它的作用是預測：從當前狀態出發，如果按某種方式行動，最終能獲得多高的回報？這就像一個有經驗的棋手，看到當前棋局就能感知"這步棋走下去，贏的概率有多大"。

傳統方法用一個單一的數字來表示這個判斷，比如"當前局面的勝率是0.7"。但LWD面臨的數據遠比下棋復雜得多：16臺機器人在不同時間、不同任務、不同場景下產生的數據匯聚在一起，同樣一個狀態，可能在某些場景里能順利完成任務，在其他場景里卻以失敗告終。如果強行把所有結果平均成一個數字，那些罕見但真實可重現的成功情況就會被淹沒，被平均值稀釋掉。

DIVL的做法是，不用一個數字，而是用一整個"概率分布"來表達價值評估。這就好比，與其說"這支股票平均回報是8%"，不如說"它有30%的概率大漲、50%的概率小漲、20%的概率下跌"——后者保留了更多信息，特別是那些罕見但重要的高回報場景。

DIVL在技術上采用了類似C51（一種分布式強化學習經典方法）的離散化支撐結構，把價值范圍劃分為201個等間隔的"格子"，然后預測每種價值落在各個格子上的概率。當需要做決策時，它不取平均值，而是取某個"分位數"——可以理解為"至少有X%的可能性能達到的最低回報水平"。

這個分位數的選取并不是固定的，而是隨著不確定性動態調整。當系統對某個狀態的判斷很有把握（分布集中、熵值低）時，它會選一個更樂觀的分位數，鼓勵機器人大膽嘗試高價值行動；當判斷不確定（分布分散、熵值高）時，則選一個更保守的分位數，避免冒進。研究者把這個自適應機制叫做"自適應τ策略"，其中τ（讀作"tau"）就是那個控制樂觀程度的參數。在離線訓練階段，τ基準值設為0.6，在線訓練階段提升到0.9；不確定性系數α統一設為0.3。

DIVL還建立在一個叫做"隱式Q學習"（IQL）的前輩框架之上，關鍵改進在于：IQL用的是標量期望值回歸（相當于只看平均數），而DIVL用的是分布擬合加分位數提取（保留了完整的概率結構）。研究者在論文中用嚴格的數學證明了，這兩種方法在理想條件下的最優解是等價的——換句話說，DIVL是IQL的一個更強大的推廣版本，而不是完全不同的東西。

**執行者：伴隨匹配Q學習（QAM）**

有了評判者，還需要執行者——把"這個動作值多少分"轉化為"我應該怎么改進我的動作"。

LWD使用的機器人大腦是一種叫做"流匹配視覺-語言-動作模型"（Flow-based VLA）的結構，簡單理解就是：機器人根據攝像頭畫面和語言指令，從一團隨機噪聲出發，通過多步"去噪"過程生成具體的動作序列。這個生成過程類似于AI繪圖——先有一張噪點圖，然后一步步細化成清晰的圖像。

問題在于，如果想用評判者的打分來直接修改執行者的行為，最直觀的做法是"沿著打分梯度往分高的方向走"——也就是把"改進方向"的信號從動作結果層面一路反向傳播到最初的噪聲輸入層面。但這個"反向傳播"需要穿越整個多步去噪過程，計算量極大，而且數值上極不穩定，就像要精確追溯"一杯咖啡的香氣究竟是哪一步研磨產生的"——理論上可以，實踐中極難。

QAM（伴隨匹配Q學習）找到了一條捷徑。它不從終點往回追，而是在生成過程的每一個小步上，都計算出一個"局部修正目標"，讓模型在每一步都朝著更高價值的方向微調。具體來說，評判者在生成完成后對最終動作打一個梯度分，這個分數通過一套叫做"伴隨動力學"的數學工具，被分解成沿著整條生成路徑的逐步修正信號。模型只需要在每一步上做小幅調整，就能整體提升動作質量，而不需要做那個災難性的全程反向傳播。

在實際訓練中，有一個額外的設計細節：在線訓練階段（機器人實際部署時），語言-視覺理解模塊的參數被凍結，只更新負責動作生成的"動作專家"部分。這樣做的好處是保護機器人辛苦積累的語義理解能力不被新數據干擾，同時讓動作層面的策略可以快速迭代。

**四、從書本到實戰：離線訓練到在線部署的無縫銜接**

LWD的完整訓練流程分為兩個階段，設計上最重要的一個特點是：兩個階段用的是同一套優化目標，沒有切換。這看似是個小細節，實際上解決了一個長期困擾強化學習研究者的麻煩——"離線-在線不一致"問題。

一般來說，在離線數據上訓練的價值函數會變得偏保守：它怕犯錯，寧愿低估那些沒見過的行動的價值。但上線后，機器人需要嘗試新行動，偏保守的價值函數會給出錯誤的低分，導致機器人不敢探索。LWD通過始終使用同一套DIVL+QAM目標，讓離線階段和在線階段的"評分標準"保持一致，減少了這種切換導致的混亂。

離線階段使用的數據來自三類來源。第一類是"示范數據"，即人類專家操作的成功錄像，合計336.6小時；第二類是"歷史策略產生的軌跡數據"，包含成功和失敗的都有，合計88.8小時成功軌跡加39.2小時失敗軌跡；第三類是"探索性數據"（論文稱為play data），即人類專門探索失敗模式和邊緣情況的操作記錄，合計187.9小時。三類加起來共652.5小時的離線數據，大約三分之一是失敗數據。純模仿學習的方法根本用不了失敗數據，而LWD可以從失敗中提取價值信號，這是一個實質性的信息增量。

對于那些長達數分鐘的復雜任務，稀疏獎勵（只有在最終成功時才得1分）的傳播速度極慢——就好像你學一道有50個步驟的菜，但老師只在你最后端出成品時才說"對"或"不對"，沒有中間反饋。為了加速這個信號的傳播，LWD在離線階段使用了"n步TD目標"，對長任務取n=10，也就是把10個連續時間片的獎勵累加起來再估計，讓成功信號能更快"滲透"到任務早期的步驟中。在線階段則回歸1步TD目標，因為在線軌跡里混合了機器人自主操作和人類干預片段，跨越過多步驟會把來自不同"來源"的數據混在一起，反而破壞價值估計的準確性。

在線階段，離線訓練的模型權重直接初始化在線訓練，兩者共享價值網絡和策略網絡。在線數據和離線數據以大約1:1的比例混合采樣，保證離線積累的知識不被遺忘，同時新數據也能及時發揮作用。

**五、打通硬件到算法的最后一公里：分布式數據基礎設施**

再好的算法，如果無法高效地把16臺機器人產生的數據實時匯聚并推送更新，就只是紙上談兵。LWD在系統層面設計了一套專門的分布式數據基礎設施，確保每一條數據都被可靠處理，且延遲盡可能短。

每臺機器人上運行一個"邊緣客戶端"，負責把每一幀傳感器數據實時累積，在一個完整操作片段結束時打包上傳到分布式對象存儲系統。上傳操作是原子性的——要么完整上傳成功，要么就算沒上傳，不會出現"半截數據"。上傳完成后，會向消息隊列發送一條通知。

在云端，一個叫做"協調器"（Coordinator）的中央程序持續監聽消息隊列，每次收到新數據通知就拉取元信息，并更新一個單調遞增的"版本號"——這個版本號定義了當前訓練步驟所看到的數據范圍。多臺云端學習機器以多主機并行（SPMD）模式運行，每臺機器上的"分布式回放緩沖區讀取器"（DRB Reader）在每次訓練步驟前都與其他節點同步到同一版本號，確保所有計算節點看到的是一致的數據視圖。每個讀取器還會啟動一個預取子進程，提前從對象存儲下載數據，避免訓練等待IO。

實測數據顯示，在一次持續8小時、16臺機器人參與的在線RL運行中，1604個操作片段全部完整地走完了從錄制到進入訓練的全流程，沒有任何丟失。端對端延遲方面，一個片段從機器人產生到可被訓練系統采樣，中位延遲為41秒，99百分位延遲為148秒；訓練系統發布新模型到機器人收到并加載，中位延遲38秒，99百分位55秒。也就是說，絕大多數情況下，機器人工作不到一分鐘，它的經驗就已經被系統記錄，不到一分鐘后，更新后的模型就能回到機器人手里——這對于一個在真實物理世界運行的學習系統來說，已經相當緊湊。

**六、在真實世界里，這套系統到底表現如何**

實驗涉及8個真實任務，分為兩大類。第一類是超市補貨任務，共4個子任務：平貨架補貨、錯放商品糾正、需要開門操作的冷凍柜補貨、需要處理紙箱的開放式冷柜補貨。這些任務要求機器人理解語言指令（比如"把這瓶飲料放到正確位置"），在雜亂的貨架中找到目標物品，并處理各種不同的包裝尺寸和貨架布局。

第二類是長時程精密任務，共4個：功夫茶沖泡（需要加茶葉、醒茶、泡茶、分茶、入杯等多步驟）、果汁制作（需要切水果、轉向、放入榨汁機、蓋蓋、旋轉旋鈕啟動）、雞尾酒調制（需要量取和混合多種酒、加冰、搖勻、倒杯、裝飾）、鞋盒打包（將鞋子整齊地裝入鞋盒并放好）。每個任務包含5到8個標注子步驟，完整執行時間3到5分鐘。

對比的方法共有4種：純模仿學習基線SFT（只用人類示范訓練流匹配模型）、RECAP（離線強化學習后處理方法，用優勢加權過濾數據然后再訓練）、HG-DAgger（在線人機協作模仿學習）、以及LWD的離線版本和在線版本。每種方法都在4小時的實際部署時間內（對應約60個機器人小時的數據）完成評測，確保比較公平。

評測指標方面，超市補貨任務用二元成功率（在規定時間內按正確指令完成即算成功）；長時程任務用步驟級得分（每個子步驟獨立打分：1分=獨立完成，0.5分=有小瑕疵或重試一次后成功，0分=多次失敗后放棄），取所有子步驟的平均分。

結果是：LWD在線版本的總平均分為0.95，超越了所有對比方法。具體來看，在長時程任務上，LWD在線版本的平均分達到0.91，相比SFT的0.68提升了23個百分點，相比RECAP的0.77提升了14個百分點，相比HG-DAgger的0.73提升了18個百分點，相比LWD離線版本的0.79也提升了12個百分點。在超市補貨任務上，多個方法的成績都接近天花板，LWD在線版本仍然保持在最優或并列最優水平，說明RL方法不僅能提升難任務表現，也不會破壞簡單任務的原有能力。

功夫茶具體成績：SFT 0.64，RECAP 0.84，HG-DAgger 0.60，LWD離線 0.72，LWD在線 0.89。果汁制作：SFT 0.66，RECAP 0.82，HG-DAgger 0.66，LWD離線 0.74，LWD在線 0.90。雞尾酒調制：SFT 0.70，RECAP 0.71，HG-DAgger 0.76，LWD離線 0.83，LWD在線 0.93。鞋盒打包：SFT 0.70，RECAP 0.70，HG-DAgger 0.90，LWD離線 0.86，LWD在線 0.92。

除了成功率之外，LWD在線版本還把長時程任務的平均完成時間（周期時間）比SFT基線縮短了23.75秒。這個效率提升來自于價值函數的引導效果：學到了"什么動作能可靠推進任務進展"的機器人，會減少猶豫、重復嘗試和不穩定的中間動作，不只是更容易成功，而且做得更干脆利落。

研究者還做了價值函數的可視化分析，以功夫茶任務為例：在一次成功的操作中，DIVL預測的價值分位數隨著機器人完成關鍵子步驟（如倒茶、分杯）而穩步上升，從約0.4增長到接近1.0；而在一次失敗操作中，價值曲線在早期發生碰撞后幾乎停止增長，只從0.5緩慢爬到0.6便趨于平穩。這說明價值函數確實學到了任務進展的內在節奏，而不只是記住了某個固定的狀態-動作對應關系。

**七、拆解關鍵設計：哪些選擇真的重要**

論文還進行了消融實驗，專門驗證兩個核心設計的貢獻。

第一個消融對比了DIVL和傳統標量期望值回歸（即IQL的原始做法）。結果顯示，在長時程任務上，DIVL在離線階段比標量方法高出9.7%，在線階段高出16.7%；在短時程任務上也有約1到2個百分點的提升。差距在長時程任務上更顯著，原因正是之前分析的：車隊數據的多樣性和稀疏獎勵的罕見性，恰恰需要保留完整的回報分布，而不是把所有情況折疊成一個平均數。

第二個消融對比了自適應τ策略和固定τ基線（把τ固定在自適應版本的平均觀測值0.52）。結果是，自適應τ讓平均離線分數從0.84提升到0.88。固定τ在個別任務上可以打平甚至略超，但自適應版本在更多任務上表現更一致，尤其是在補貨、糾正和雞尾酒這幾個任務上優勢明顯。這驗證了"不同狀態需要不同程度的樂觀估計"這一直覺：對于熟悉的場景，樂觀一點有利于挖掘高價值行為；對于陌生場景，保守一點能避免誤判。

**八、局限與未來**

研究團隊在論文中坦誠地指出了三個值得繼續努力的方向。

第一，當前的在線學習是按照固定的實時節奏更新的，對于更大規模或更長期的持續部署，這套節奏是否仍然最優還不清楚，可能需要更智能的更新調度策略。

第二，長時程任務目前使用的是單條簡短的語言指令（比如"泡茶"），而沒有細化的子步驟提示。真正復雜的任務可能需要更強的視覺-語言推理能力來做任務分解，以及更精細的閉環反饋提示，幫助機器人在執行中途自主識別并從錯誤中恢復。

第三，整個學習框架目前沒有顯式建模"安全性"——在允許機器人自由探索失敗模式的同時，如何確保它不做出危險動作，是實際部署中不可回避的工程挑戰。

歸根結底，這項研究展示了一條可行路徑：機器人不需要在部署前就把一切都學會，只需要具備足夠的基礎能力，然后在真實使用中持續成長。部署本身成為了最好的訓練場。16臺機器人的車隊之所以能讓一個通用大腦的成功率從不到80%提升到95%，靠的不是無限的示范數據，而是讓每一次成功和失敗都真正成為學習的素材。

對機器人技術感興趣的讀者，或者希望深入了解強化學習與大模型結合的研究者，都可以在arXiv上通過編號2605.00416找到完整論文，技術細節和代碼實現都有詳盡記錄。

Q&A

Q1：LWD框架和普通機器人訓練方式有什么本質區別？

A：普通訓練是"收集數據→訓練→部署"的單向循環，部署結束就不再學習。LWD把部署變成持續學習的過程，機器人在工作時產生的每一次成功和失敗都實時上傳，云端持續更新共享模型再推回給所有機器人，形成自我強化的數據飛輪，機器人越用越聰明而不是越用越舊。

Q2：DIVL為什么比傳統價值函數更適合機器人車隊場景？

A：傳統價值函數用單一數字表達"這個動作有多好"，會把不同場景的結果平均掉，掩蓋那些罕見但真實可重現的成功情況。車隊數據來自16臺機器人的不同任務和環境，結果天然多樣，DIVL改用完整概率分布來記錄每種可能的回報，保留了高價值行為的信號，并能根據預測的不確定性動態調整樂觀程度，更適合這種異構數據環境。

Q3：LWD在長時程任務上為什么比模仿學習提升更明顯？

A：長時程任務（如功夫茶、雞尾酒）包含5到8個子步驟，任何一步出錯都可能影響后續，模仿學習里的錯誤會層層疊加。強化學習可以通過"時序差分"把任務末尾的成功信號反向傳播到早期步驟，告訴機器人哪些早期動作真正對最終成功有貢獻，而不只是模仿表面動作，因此在需要多步協調的任務上提升幅度遠大于短任務。