北京AI研究院：機器人實現視頻動作學習完成復雜任務能力提升

這項由北京人工智能研究院（BAAI）主導完成的研究，以預印本形式于2026年4月30日發布在arXiv平臺，論文編號為arXiv:2604.27711。研究成果被命名為"ExoActor"，代表著一種讓人形機器人無需收集真實世界操作數據，僅憑"想象執行視頻"就能完成各類復雜任務的全新框架。

你有沒有想過，如果一個人從來沒有練習過某個動作，只是看了一段別人做這個動作的視頻，他能不能就此學會并親自完成？這個問題對人類來說有些勉強，但對機器人領域的研究者來說，恰恰觸及了當前一個最核心的難題：如何讓人形機器人在沒有大量專項訓練數據的情況下，照樣完成各式各樣復雜的現實任務？

過去幾年，人形機器人技術飛速發展，各類學習型控制系統層出不窮。然而，當研究者真正希望機器人能在真實家庭或工作環境中與物體、環境流暢互動時，障礙就出現了——要同時理解空間位置、動作時序、任務意圖，還要能隨機應變，對現有系統來說實在太難了。更麻煩的是，每換一個場景或任務，就需要重新收集大量真實數據來"補課"，代價極高，效率極低。

北京人工智能研究院的團隊給出了一個思路清奇的解法：既然大規模視頻生成模型已經能夠根據文字描述，生成非常逼真的人類活動視頻，那何不讓機器人先"想象"自己如何完成一項任務——生成一段對應的第三人稱視角視頻，然后再從這段視頻里提取動作信息，最終驅動機器人真正去完成這個任務？

這套系統的核心概念，就像是給機器人裝上了一個"腦海中的排練室"。在真正上場之前，機器人先在腦子里把整個動作流程演練一遍，把演練畫面"拍"成視頻，再把視頻里的人體動作解析成機器人能直接執行的運動指令。整個過程不依賴任何任務專屬的真實操作數據，完全由生成式AI的想象力驅動，由通用運動控制器負責落地執行。

一、從"想象"到"行動"：ExoActor的三步走流程

要理解ExoActor如何運作，可以把整個系統比作一位專業導演在拍攝一部動作短片的過程。導演拿到劇本（任務指令），先觀察一下拍攝現場（初始場景圖像），接著創作出一段完整的動作視頻（視頻生成階段），然后把視頻里演員的每一個動作都精確測量記錄下來（動作估計階段），最后把這些測量數據交給真正的演員——也就是機器人——去現場還原（運動執行階段）。

第一步是生成視頻，這是整個框架最具創意的部分。給定一個任務描述和當前場景的第三人稱圖像，系統需要生成一段展示任務執行過程的視頻。然而，直接讓視頻生成模型去生成機器人完成任務的畫面，往往會出現大量奇怪的偽影——機器人的身體變形、動作斷斷續續、畫面前后不連貫——因為這類模型幾乎所有的訓練數據都是真實人類的活動畫面，對機器人外形完全不熟悉。

為了解決這個"語言不通"的問題，團隊設計了一個巧妙的預處理步驟：把場景圖像里的機器人，先用AI圖像編輯工具"偽裝"成一個真人。這位"替身演員"穿著緊身運動服，保持機器人原本的姿勢、位置和面朝方向，身體比例也特意參照了機器人的特征——身形較矮，腰部纖細，四肢修長。整個場景的背景、光線、擺設一律保持原樣不變，只是把金屬機器人換成了看起來像真人的圖像。這個過程通過Gemini 3.1 Pro的圖像編輯功能完成，提示詞中嚴格要求保持姿勢一致性。

完成"機器人變人"的替換之后，系統還需要把高層次的任務指令分解成一系列具體可執行的中間步驟。舉個例子，"把你面前的棕色箱子撿起來然后站直"這樣的指令，會被GPT-5.4 Thinking分解為：走近箱子、彎腰、抓住箱子、抬起箱子、恢復站立姿勢——每一個步驟都是肉眼可見、物理上可實現的獨立動作。這些分解后的步驟結合場景描述，構成一段詳盡的視頻生成提示詞，明確指定了攝像機視角固定、場景不變、動作自然連貫、任務完成狀態清晰等要求。視頻生成則主要采用了Kling 3，這是一款在穩定性和視覺一致性方面表現最優的商用視頻生成API，對比測試中另外兩款模型Veo 3.1和Wan 2.6都因運動漂移、物體交互不自然等問題而表現遜色。

第二步是從生成的視頻里提取動作數據。這一步相當于把視頻里那位"替身演員"的每一幀動作都精確掃描成三維數字模型，然后記錄下完整的運動軌跡。技術上，團隊使用了GENMO這一擴散模型，它不是簡單地逐幀預測姿勢，而是把整段視頻的特征和二維關鍵點作為條件信號，生成在時間上連貫、物理上合理的三維人體運動序列，并用SMPL人體模型參數（包括各關節旋轉角度和全局位置）來表示。對于視頻中遮擋幀，模型還會自動進行時間插值填補，確保運動軌跡平滑。

僅有全身動作還不夠，機器人要拿起和放下物體，還需要精確的手部動作數據。團隊額外使用了WiLoR這一工具，對生成視頻逐幀分析，恢復雙手的三維姿態。每幀視頻產生一組手部數據，包括左右手各自的姿勢描述，以及對應的交互狀態：完全張開、半張開還是握緊。這個信息隨后被轉化為機器人末端執行器（即機械手）的控制指令。值得一提的是，針對鏡頭里人物正面朝向攝像機還是背對攝像機這兩種情況，手部左右的識別邏輯是不同的，這樣設計是為了避免"左右手認錯"的問題。

第三步是讓機器人真正去執行這些提取出來的動作。這里的難點在于，從視頻中估計出的運動軌跡只是一堆幾何數據，并不包含力的信息——它不知道機器人的關節最大能轉多少度，也不知道保持平衡需要怎樣協調重心。團隊采用了SONIC這一通用運動跟蹤控制器來解決這個問題。SONIC的作用，類似于一個經驗豐富的"動作翻譯官"：它接收參考運動軌跡，同時感知機器人當前的身體狀態，在滿足物理約束的前提下，盡可能忠實地還原參考動作。即使參考軌跡里有一些不太自然的跳躍或抖動，SONIC也能在不讓機器人失去平衡的情況下穩定執行。團隊經過測試發現，在視頻估計動作和真實機器人執行之間加入額外的動作重定向步驟（即嘗試將人體比例的動作精確地映射到機器人骨架比例上），反而會帶來明顯的空間偏差——機器人走路步幅變了，整體軌跡也偏了。于是最終方案是直接把估計動作喂給SONIC，讓SONIC自行處理細節，這樣在精度上反而更好。

二、不同難度關卡的實戰檢驗

為了驗證ExoActor的實際能力，研究團隊專門設計了一套由易到難的任務體系，分為B級（簡單）、A級（中等）和S級（困難）三個難度檔。這套體系就像游戲里的關卡設計，每升一級，機器人需要處理的交互復雜度就會顯著提升。

B級任務主要考驗基礎導航能力，機器人只需要走到指定地點或繞開簡單障礙，比如"走到白色桌子前面的籃子旁邊停下"，或者"從椅子左側繞出去"。這類任務的核心是檢驗系統能否把生成視頻里的行走軌跡準確轉化為穩定的機器人步行動作，同時準確到達目標位置。實驗結果表明，機器人在這類任務上表現穩定，可以可靠地向目標物體靠近并完成定位。

A級任務在導航基礎上增加了粗粒度的物體交互，不要求精確的抓握，但需要協調全身動作。團隊測試了多種場景，包括把桌上的瓶子撥到垃圾桶里、走到椅子旁坐下、彎腰撿起箱子然后站起來、低頭鉆過警戒線、跨過障礙物，以及用布擦桌子等。這些任務要求機器人把行走和全身動作協調起來，同時與周圍物體或環境發生有意義的接觸。系統在這個難度檔展示出了一定的多步行為執行能力，體現了視頻生成中對長時程交互場景的理解和表達。

S級任務是整個框架面臨的最大挑戰，需要精細操控和多步驟的手眼協調。具體任務包括：從黑色椅子上撿起綠色瓶子并豎立放到桌上、從白色架子上拿起黑色雨傘放入桌上的籃子、把瓶子豎直放入籃子、從桌上拿起瓶子扔進垃圾桶等。這些任務既要走到合適位置，又要用手精確地抓住特定物體并準確放置。實驗中，機器人總體上能完成這類任務，但存在一個明顯的局限：由于運動估計對手部高度的判斷存在誤差，機器人有時無法準確地抓到目標物體。團隊為此采取了一個權宜之計，在目標物體下方墊上小支撐臺，讓物體稍微抬高一些，以補償這個高度偏差。

三、哪些環節容易出問題

任何系統都不可能完美無缺，ExoActor也不例外。研究團隊非常坦誠地記錄了系統在三個主要階段分別可能出現的典型失敗案例。

視頻生成階段，最常見的問題是模型"發揮過度"——它會憑空生成原本不存在的物體，或者讓原有物體的尺寸發生離譜的變化。論文中舉了一個具體例子：原本場景里只有一把小雨傘，視頻生成模型卻把它想象成了一把大雨傘，導致后續動作估計和執行都出現嚴重偏差。除此之外，動作序列前后邏輯矛盾、場景配置不合常理、最終姿態物理上根本站不住等問題也時有發生。團隊發現，精心設計提示詞結構和對任務進行步驟分解，可以顯著降低這類問題的出現頻率。

運動估計階段，最突出的痛點是手部動作細節的準確性。當手應該保持某種特定方向抓握物體時——比如豎握一個瓶子——估計結果往往給出一個橫向的腕部朝向。這是因為在單目視頻（只有一個攝像機視角，沒有深度信息）中，細微的腕部旋轉提供的視覺線索非常微弱，模型難以準確還原。此外，當視頻里人物的某些身體部位被桌子、椅子等場景物體遮擋時，對應的三維運動估計就會出現缺失或錯誤。從后方視角拍攝的場景也會讓估計精度明顯下降，因為背對攝像機時的自我遮擋問題尤為嚴重。

執行階段，誤差主要來自運動數據與機器人物理約束之間的不匹配。最常見的表現就是手部高度對不準——機器人伸手的位置略高或略低，無法正確接觸目標物體。此外在需要精確走到特定位置的任務中，運動距離的偏差也會影響任務完成。這些問題在需要精準接觸或抓握的S級任務中尤為明顯。

四、系統運行效率的真實情況

ExoActor目前是一套離線流水線系統，也就是說，機器人在開始實際行動之前，需要等所有上游處理步驟全部完成。研究團隊對每個模塊的平均耗時進行了詳細測量，呈現了一張非常直觀的數據圖景。

機器人變人的圖像轉換步驟，每次請求平均需要約10.7秒。任務分解和提示詞構建則非常快，每次請求僅需約2.5秒。視頻生成是整個流程中最耗時的瓶頸環節，每生成1秒鐘的視頻需要花費約13.2秒的處理時間，也就是說生成一段10秒的行動視頻大約需要2分多鐘。全身運動估計相對高效，處理每秒視頻約需2.9秒。手部運動估計則是第二大耗時環節，處理每秒視頻需要約16.4秒，比全身估計慢了約五倍多。

這組數據說明，在當前版本的ExoActor中，如果要執行一個10秒的任務，光是"想象"和"解析"這個任務就需要花費數分鐘的準備時間，然后才能真正開始執行。這對于需要實時響應環境變化的場景來說是明顯的限制，但對于那些可以提前規劃、場景相對穩定的應用場景而言，這個代價在當前階段是可以接受的。

五、這套方法還能怎么進化

研究團隊在論文中詳細討論了當前實現的多項局限，以及未來可以改進的具體方向，這部分內容反映了他們對整個研究路線的深度思考。

最核心的一個問題是：當前系統是完全開環的，機器人在執行過程中不會感知周圍環境的變化，只是機械地播放預先生成的動作軌跡。一旦場景里出現了意外情況——比如物體被碰歪了、地面有個障礙——機器人完全感知不到，也無法調整。未來的改進方向是建立閉環的、具備場景感知能力的全身控制機制，讓機器人在執行時能持續觀察環境，用生成視頻提供的參考軌跡作為高層次的行為指引，同時根據實時傳感器數據隨時微調腳步位置、身體姿態和手部動作。

另一個重要方向是讓視頻生成本身更"懂物理"。當前模型擅長生成看起來很真實的畫面，但并不真正理解物理規律——物體會穿模、接觸關系不合理、動作違反運動學約束等問題時有發生。研究團隊認為，未來需要把物體永恒性（物體不會憑空消失）、接觸動力學、幾何一致性和運動約束等物理知識更深入地融入視頻生成模型的訓練中，同時評估指標也應該轉向物理可行性和可執行性，而不僅僅是視覺質量。

從離線批處理邁向在線流式處理，也是一個值得期待的改進方向。未來的系統可以不再等整段視頻生成完畢再開始執行，而是在機器人行動的同時，持續生成短時間窗口內的下一步預測視頻，實現"邊想邊做"的動態規劃，讓機器人能夠應對環境的實時變化。

此外，當前系統要求必須有第三人稱視角的外部攝像機來拍攝初始場景，這在很多實際環境里并不容易滿足。研究團隊指出，未來一個重要方向是訓練能夠從機器人自身攜帶的第一人稱攝像頭視角，重建或推斷出第三人稱視角畫面的模型，從而擺脫對外部固定攝像機的依賴。

研究團隊還提出了"以機器人為中心的視頻生成"這一長遠構想。目前的方案先把機器人"偽裝"成人再生成視頻，這個繞路做法帶來了額外的不一致性。理想情況下，視頻生成模型應該能夠直接以機器人本身為主角生成高質量的動作視頻，同時保持動作的流暢性和物理合理性，而不是套用人類外形生成后再反向適配。

最后，研究團隊呼吁建立統一的視頻驅動人形機器人控制基準測試集。目前這個領域的評估十分分散——有的只測視頻生成質量，有的只測運動估計精度，有的只測機器人控制效果，缺乏從頭到尾綜合評估整個流程的標準。建立這樣的基準，對于衡量不同方法之間的真正差異、推動整個領域快速進步至關重要。

歸根結底，ExoActor做的這件事，是把"大腦里的排練"和"真實的行動"之間搭了一座橋。這座橋目前還有很多顛簸之處——有時候視頻里出現了不該出現的大雨傘，有時候機器人的手高了幾厘米沒抓到東西——但它的存在本身就已經意義重大。它證明了一件過去看起來有些離奇的事情：一臺從未見過某個任務的機器人，只需要讓AI"想象"一遍這個任務，再把想象的畫面解析成動作指令，就能真正走上去、彎腰、伸手、把東西放進籃子里。

這對整個人形機器人領域的意義在于，我們或許不再需要為每一個新任務、每一個新場景都去費力收集大量真實操作數據了?；ヂ摼W上海量的人類活動視頻，加上持續進化的視頻生成模型，可能就是機器人"學習"如何完成各類任務的最大數據來源。至于這條路最終能走多遠，能不能讓機器人在真實家庭里靈活應對日常的各種突發情況，則是留給未來研究者去繼續探索的開放問題。如果你對技術細節有更深的興趣，可以在arXiv上通過編號2604.27711查閱完整論文。

Q&A

Q1：ExoActor框架為什么要把機器人圖像替換成人的圖像再生成視頻，而不是直接讓AI生成機器人動作視頻？

A：現有的視頻生成模型幾乎所有訓練數據都是人類活動畫面，對機器人外形非常不熟悉，直接輸入機器人圖像會導致生成的視頻出現身體變形、動作斷續、畫面前后不一致等大量問題。把機器人替換成穿緊身服的人形圖像，相當于把"外語輸入"轉換成模型熟悉的"母語輸入"，能讓視頻生成更穩定，后續從視頻中提取的人體動作數據質量也更高。

Q2：ExoActor系統在S級復雜操作任務中失敗的主要原因是什么？

A：主要原因是運動估計階段對手部高度的判斷存在誤差。視頻生成模型生成的畫面在視覺上看起來合理，但從單目視頻（只有一個攝像機，沒有深度感知）中還原精確的三維手部位置時，高度信息容易出現偏差。這導致機器人實際伸手的位置比目標物體略高或略低，無法成功抓握。目前的臨時解決方案是在目標物體下方墊高支撐臺，后續需要從算法層面改進腕部姿態的估計精度。

Q3：ExoActor完成一個任務需要多長時間準備？

A：目前ExoActor是離線流水線系統，在機器人真正開始行動之前需要依次完成圖像轉換（約10.7秒）、任務分解（約2.5秒）、視頻生成（每秒視頻約13.2秒處理時間，10秒視頻約需2分多鐘）、全身運動估計（每秒視頻約2.9秒）和手部運動估計（每秒視頻約16.4秒）等步驟，總準備時間從幾分鐘到更長不等，目前尚不支持實時響應。