Meta與UIUC聯手打造會"認識你"的動作生成AI

這項由伊利諾伊大學厄巴納-香檳分校（UIUC）與Meta現實實驗室（Meta Reality Labs）、布朗大學聯合開展的研究，以預印本形式發布于2026年4月28日，論文編號為arXiv:2604.25164，有興趣深入了解的讀者可以通過該編號查詢完整論文。

**體型不同，動作也該不同**

假設你正在看一段動作捕捉視頻，屏幕上出現了一個"標準人"在做慢跑動作——步伐均勻、手臂擺動幅度標準、節奏穩定。但現實生活中，如果是一位身材高挑的運動員在慢跑，他的步幅會大得多；如果換成一位體型偏胖的中年人，他的軀干前傾角度、手臂外展方式和落腳節奏都會截然不同。這種差異不是風格問題，而是身體結構本身決定的。

然而，當前絕大多數"文字生成動作"的AI系統，都假裝這個差異不存在。它們只有一套"平均人體"的骨架模板，無論你輸入的是"一個肌肉發達的男性在跑步"還是"一個年邁的老太太在走路"，生成的動作骨架本質上是一樣的——身材差異頂多在后期套皮時才處理。這就好比所有演員不管高矮胖瘦，都只能穿同一套標準碼的戲服，然后用膠帶強行貼合，當然會顯得別扭。

這項研究提出了一個叫做IAM（Identity-Aware Motion，身份感知動作）的框架，它的核心主張很直接：一個人是如何運動的，和這個人的身體長什么樣，是密不可分的。研究團隊要做的，就是讓AI在生成動作的同時，也生成匹配的身體形態，讓兩者從一開始就共同生長、相互影響，而不是先生成動作再去"硬塞"進某個身材里。

**一、現有的AI動作生成，到底出了什么問題**

要理解這項研究在解決什么問題，先得了解現有技術的工作方式。目前主流的"文字轉動作"AI，接收一段文字描述（比如"一個人向前跳起并在空中旋轉"），然后輸出一段動作序列——這個序列是用骨骼關鍵點的位移和旋轉來表示的，通常是二百多個數字構成的向量，逐幀記錄全身的姿態。

這些AI的能力確實不弱，有的用擴散模型（一種從噪聲中逐步"雕刻"出動作的方法），有的用向量量化（把動作拆解成類似文字詞匯的離散單元），還有的用類似ChatGPT的自回歸方式一幀幀預測動作。但無論哪種方式，骨骼始終是固定的"標準身材"，身體尺寸從不變化。

這帶來了一個深層問題：當你把這些"標準動作"套用到一個真實角色的身體上時，就需要做"動作重定向"——把動作從標準骨骼轉移到目標骨骼。這個過程就像把一套為成年人設計的舞蹈動作強行讓一個小學生來跳，雖然步驟相同，但身體比例不同導致許多細節完全走樣。腿長的人做相同"抬腿"動作時，膝蓋軌跡完全不同；手臂短的人做"伸展"動作時，看起來也會差很多。

研究團隊指出，更根本的問題在于：現有方法把"身份"當成了一個外觀屬性，而不是影響動作本質的結構性因素。就像兩位廚師做同一道菜，一位手大力強，一位手小精細，他們切菜的方式、攪拌的力度、翻鍋的頻率都會不同——這不是風格偏好，而是身體結構的自然映射?，F有AI缺失的，正是這種"身體結構如何塑造動作模式"的內在聯結。

**二、IAM的核心思路：讓身體和動作一起"長出來"**

IAM框架的核心思路，可以用一個廚房比喻來貫穿理解。標準的AI動作生成，就像一個餐廳只有一套固定食譜，所有廚師（無論身材高矮、力氣大?。┒加猛耆粯拥牟襟E做菜，然后再根據廚師的體型調整一下擺盤。IAM則完全不同——它讓食譜從一開始就根據具體廚師的體型量身定制，每一道工序都天然適配這位廚師的身體特點。

具體來說，IAM同時生成兩樣東西：一是動作序列（每一幀里全身各關節的姿態），二是身體形態參數（描述這個人體型的10個數字，學術上叫做SMPL/SMPL-X的β參數）。這10個數字能編碼一個人的高矮胖瘦、四肢比例、軀干形狀等核心體型信息。把這兩樣東西放在同一個生成過程里聯合優化，就強迫AI學會"這種身材的人，動作應該是這樣的"這個內在規律。

為了告訴AI"這次要生成什么樣的人"，研究團隊設計了一個多模態身份輸入系統。所謂多模態，就是可以用多種方式描述同一個人。第一種方式是文字描述，比如"一位高挑、體型勻稱的年輕女性"或者"一個體型偏胖的中年男性，肩膀寬闊"。第二種方式是圖片，直接給一張這個人的照片，讓AI從中提取身體比例、體型輪廓等視覺信息。這兩種方式各有優勢：文字擅長描述高層次的語義屬性（高、胖、老等），圖片則能提供文字難以精確表達的細節，比如腿與軀干的比例、整體體積感等。

這種設計讓IAM比之前的同類研究（比如Shape My Moves）更加靈活。Shape My Moves需要用戶輸入精確的數字測量值（身高183厘米、胸圍95厘米等），這對普通用戶來說既不方便又不直觀。IAM則允許用自然語言或一張照片來描述身份，更貼近真實使用場景。

**三、技術內部的"食譜"是如何運轉的**

理解IAM的內部工作方式，可以把整個系統想成一個精密的廚房流水線，有專門的食材處理區、烹飪區和出餐區，各司其職又緊密協作。

文字信息的處理由一個"凍結"的文字編碼器負責——這里的"凍結"意思是這個編碼器的參數在訓練過程中不改變，它已經在大量文本數據上預訓練好了，能把任何文字轉化成768維的語義向量，再通過一個可學習的投影層壓縮到512維。圖片信息則由一個同樣凍結的CLIP圖像編碼器處理，提取出包含年齡感、體型輪廓、肢體比例等信息的512維特征向量，同樣投影到統一的512維空間。

把這兩路信息合并的方式叫做"晚期融合"——就像做飯時，先分別把蔬菜和肉類處理好，最后在鍋里合在一起炒，而不是一開始就混在一起。文字描述會生成一串向量（序列長度加1個視覺向量），拼接成一個統一的條件序列輸入給生成網絡。為了讓系統在"有身份輸入"和"沒有身份輸入"兩種情況下都能工作，訓練時會有10%的概率把所有條件輸入都替換成一個可學習的空白向量，這樣AI就學會了在沒有具體身份信息時也能合理生成。

生成動作和體型的核心網絡有兩種口味。第一種基于擴散模型（Diffusion-based），它的做法是把體型參數（10個數字）直接拼接到每一幀的動作特征（272個數字）后面，形成282維的聯合狀態向量，然后用一個統一的降噪網絡同時從噪聲中"雕刻"出動作和體型。訓練時用一個統一的均方誤差損失，迫使網絡同時把動作和體型都預測準確。第二種基于向量量化（VQ-based，以MoMask框架為基礎），動作部分依然離散成詞匯式的標記（token），但在Transformer輸出層新增了一個專門預測體型參數的回歸頭，同時訓練分類損失（預測正確的動作標記）和回歸損失（預測正確的體型數字），兩部分損失的權重比是10:1。

**四、數據從哪里來：兩個截然不同的訓練場**

任何AI系統的能力，都很大程度上取決于它的訓練數據。IAM的研究團隊在這方面下了相當大的功夫，構建了兩套互補的數據集。

第一套是基于已有的HumanML3D基準數據集的改造版本。這個數據集原本包含14616段動作序列和44970條文字描述，是動作生成領域的標準測試場。研究團隊從AMASS動作捕捉數據庫中找到了每段動作對應的真實體型參數β，覆蓋449個獨立個體，其中263位男性、186位女性，身材分布包括116位偏瘦、269位中等、64位偏胖。

為了給這些體型數字配上自然語言描述，研究團隊用了Body Talk框架——這是一個能把數字體型參數轉換成解剖學關鍵詞的工具，類似于把"β1=0.8, β2=-0.3..."這樣的數字翻譯成"寬肩、細腰、腿較長"這樣的詞匯。然后再用Llama 3.2大語言模型把這些關鍵詞寫成流暢的自然語言描述，比如"這是一位肩膀寬闊、腰部纖細、四肢修長的男性"。由于原始視頻數據不可獲取，視覺參考圖片則通過將體型參數直接渲染成SMPL人體網格的正面圖來替代，提供一個標準化的幾何參考。

第二套是研究團隊自己構建的大規模野外數據集，命名為IdentityMotion，包含超過20萬段動作序列。這批數據來自真實世界的視頻，用GVHMR系統自動從視頻中重建出動作序列和體型參數作為監督信號，身份描述則用Gemini 2.5 Pro多模態大模型自動標注——AI看著視頻，描述出這個人的外貌、體型、年齡段等信息，同時生成對應動作的文字描述，再用Llama 3.2專門把動作描述中所有涉及身份的信息清除（用"一個人"替代"這位肌肉發達的男運動員"），確保動作描述和身份描述是真正解耦的。IdentityMotion的體型分布更加多樣：52%偏瘦、41%中等、7%偏胖；64%女性、36%男性；75%年輕成人、20%中年、5%老年人。

**五、成績單：數字說明了什么**

評估一個動作生成系統的好壞，需要從多個角度打分。研究團隊用了業界通用的幾個指標，類比考試成績來理解最為直接。

FID（Fréchet Inception Distance，弗雷歇特初始距離）衡量的是生成動作和真實動作在整體分布上有多相似，數值越低越好，可以理解為"整體像不像真人動作"。R-Precision衡量的是生成的動作和對應文字描述的匹配程度，數值越高越好，相當于"動作是否按照文字要求來的"。β-Dist則是這項研究特有的指標，衡量生成的體型參數和目標體型之間的L2距離，數值越小說明生成的身材越接近描述的身材，可以理解為"身材是否畫對了"。

在HumanML3D數據集上，基于擴散模型、同時使用文字和圖片雙重條件輸入的IAM變體，取得了FID 7.371、β-Dist 0.647的成績。與之對比，只使用中性動作文字（不包含身份信息）的基礎擴散模型FID為13.207，根本無法生成多樣化身材（β-Dist無法計算）。加入身份感知文字描述后，FID降到7.395、β-Dist為1.190；再疊加圖片條件，FID和β-Dist都進一步改善，說明圖片提供的幾何細節確實對體型準確性有額外貢獻。

在身體測量誤差方面，與Shape My Moves的直接對比很能說明問題：Shape My Moves在身高預測上誤差為5.8毫米，IAM的雙條件變體同樣達到5.8毫米，基本持平；在胸圍誤差上IAM為8.6毫米（Shape My Moves為6.9毫米），腰圍誤差IAM為12.6毫米（Shape My Moves為10.6毫米），臀圍誤差IAM為6.8毫米（Shape My Moves為6.0毫米）。這些數字表明，IAM在不需要精確數字輸入的情況下，達到了與依賴精確測量值的Shape My Moves相當的準確度，而且同時生成的動作質量更高。

基于向量量化的變體（VQ-based）在體型生成上也有一定能力（β-Dist 1.359），但整體動作質量（FID 11.34）明顯不如擴散模型版本，說明在聯合建模動作和身材這個任務上，擴散模型的連續空間表達能力更有優勢。

**六、零樣本測試：遇到沒見過的人，還能行嗎**

真正考驗一個AI系統的，不是它在訓練數據上表現如何，而是遇到完全沒見過的人時還能不能正常工作。研究團隊專門在IdentityMotion數據集上做了嚴格的零樣本測試：測試集中的所有人物，都與訓練集完全不重疊。

結果顯示，雙條件輸入的擴散模型（文字+圖片）在這個零樣本設置下取得了FID 23.174、β-Dist 1.279的成績，明顯優于單一條件輸入的變體（只用文字：FID 28.667，β-Dist 1.452；只用圖片：FID 31.726，β-Dist 1.392）。這說明兩種模態的信息是互補的，缺少任何一方都會影響性能。

研究團隊還特意指出一個有趣的規律：在較小的HumanML3D數據集上，單一模態（只用文字）基本就夠用了，因為那個數據集里的體型多樣性有限；但在大規模的IdentityMotion上，必須兩種模態結合才能最好地處理真實世界的體型多樣性。這就像識別人臉，如果數據庫里只有100個人，對著名字找可能就夠了；但數據庫里有10萬人時，額外的照片參考就變得不可缺少。

在形狀重建精度上，IdentityMotion測試集的誤差（身高53.5毫米、胸圍67.9毫米）比HumanML3D測試集高出不少，這在意料之中——真實世界視頻中的體型更加極端多樣，光靠文字和一張圖就要估計準確確實更難。不過研究團隊指出，這個誤差范圍與專門做體型估計的頂級系統Shapy在相似條件下的表現相當，而IAM還額外完成了動作生成的任務。

**七、眼見為實：視覺比較說明了更多**

數字有時候不如直接看圖來得直觀。研究團隊提供了大量的可視化結果，用彩色的人體網格展示體型偏差——顏色越深紅，說明生成的體型與目標體型相差越大；顏色越淺，說明越接近。

在HumanML3D的測試例子中，面對同一組輸入（"一個人用右手用力投擲某物"、"一位體型勻稱的精瘦男性"），IAM的擴散模型版本生成的人體網格整體顏色明顯更接近目標色，身高比例、肩寬、腰圍都與描述吻合；而Shape My Moves的結果則在某些部位出現了較明顯的紅色，說明局部體型偏差較大。IAM的VQ版本在某些例子中也有紅色區域，說明體型控制還不如擴散版本精確。

在身份可控生成的演示中，研究團隊將5種不同的身份描述（"體型纖細的年輕女性"、"肌肉發達的成年男性"、"纖細的年輕男性"、"身材較重的老年女性"、"體型偏大偏重的老年男性"）和3種不同的動作描述（"愉快地跳舞，搖擺臀部并揮動手臂"、"猶豫地走過一座搖晃的繩橋"、"雙手抱著磚塊向前走"）進行自由組合，生成了15段不同的動作視頻。這15段視頻都遵循了動作指令，同時各自的體型也與身份描述一致，說明IAM確實學到了將身份和動作解耦控制的能力。

**八、用戶調研：真實的人怎么看**

定量指標之外，研究團隊還做了一次用戶感知研究，讓25位參與者對IAM和Shape My Moves進行盲測比較，每人評估10對視頻，每對從30個隨機抽取的測試案例中選取。參與者從三個維度打分：動作合理性（動作與文字描述是否吻合）、體型合理性（人物體型與描述是否匹配）、動作與體型的整體真實感（兩者結合是否讓人覺得"這就是這個身材的人該有的動作"）。

結果：在動作合理性上，83.2%的評估者認為IAM更好，7.2%認為Shape My Moves更好，9.6%無法判斷；在體型合理性上，77.6%支持IAM，16.8%支持Shape My Moves，5.6%無法判斷；在動作與體型的整體真實感上，88%支持IAM，5.2%支持Shape My Moves，6.8%無法判斷。三項指標的統計顯著性p值均低于0.05，說明這些差異不是偶然的。其中"整體真實感"一項IAM的領先幅度最大，正好對應IAM最核心的設計目標——讓動作和體型在內在層面就相互融合，而不是外在拼湊。

**九、這個框架的局限性和未來空間**

研究團隊沒有回避這項工作存在的問題。當參考圖片中的人物穿著寬松衣物或者有遮擋時，視覺編碼器提取的身體信息會有偏差，導致生成的體型不準確。對于訓練分布之外的極端體型（比如異常高大或非常特殊的身材比例），誤差會明顯增大，說明模型對訓練數據的分布依賴還比較強。未來可以考慮引入更魯棒的身體識別技術，或者加入幾何約束來增強對極端情況的處理能力。

此外，這項研究聚焦于靜態體型參數的生成，但真實世界中體型本身也會隨時間、運動狀態發生變化（比如運動時肌肉的動態變形），這部分尚未涉及。動作生成的物理合理性（比如是否滿足重力約束、接觸約束等）也需要更多工作來保證。

歸根結底，這項研究做的事情其實很直白：讓AI在生成虛擬人物動作的時候，真正"看見"這個人的身材是什么樣的，而不是對所有人都用同一套模板。當一個體型偏大的虛擬角色在跑步時，它的步態本就應該和纖細運動員不同；當一個老年角色在彎腰時，它的動作弧度本就應該反映年齡帶來的身體限制。這不是錦上添花的細節打磨，而是讓虛擬角色真正有"人味"的基礎。

對于游戲開發者、虛擬偶像創作者、影視動畫制作團隊，或者任何需要創建個性化虛擬角色的人來說，這意味著未來描述一個角色的長相和體型，AI就能自動生成那個角色"該有的動作"，而不是再去做費力的手動調整。對于更宏觀的具身AI和機器人研究，這也提供了一個新的思路：智能體的運動策略，也許從設計之初就該和它的物理身體形態緊密綁定在一起。

那么，下一個有趣的問題是：如果把這個思路進一步延伸，能不能讓AI根據一個人的實時體型變化（比如增肌、減重的過程）動態調整它預測的動作風格？這個方向，或許值得期待。

Q&A

Q1：IAM框架和普通的文字轉動作AI有什么根本區別？

A：普通的文字轉動作AI只用一套固定的"標準體型"骨架生成動作，體型差異要靠后期調整來彌補。IAM則在生成動作的同時同步生成身體形態參數，兩者從一開始就共同優化，確保動作天然適配對應的身材比例，避免了"把成人舞蹈強塞給小孩跳"式的不協調問題。

Q2：IAM需要用戶輸入精確的體重身高數據嗎？

A：不需要。IAM支持用自然語言描述（如"一位高挑的年輕女性"）或者一張照片來告知身份信息，不必輸入厘米、公斤這樣的精確數字。這是IAM相比Shape My Moves的重要優勢——后者必須依賴精確測量值，對普通用戶不夠友好。

Q3：IAM在完全沒見過的人物上還能正常工作嗎？

A：研究團隊在IdentityMotion數據集上做了嚴格的零樣本測試，測試人物與訓練集完全不重疊。結果顯示，同時使用文字和圖片雙重條件的版本取得了最好成績，β-Dist為1.279，說明IAM確實學到了將身份描述映射到體型空間的泛化能力，而不只是記住了訓練數據里的特定人物。