剛剛，國產(chǎn)預(yù)訓(xùn)練具身大模型開源了，讓后訓(xùn)練不再是必選項！

編輯｜panda、+0

2026 年初，國內(nèi)具身智能賽道掀起了一波開源潮，越來越多團(tuán)隊開始公開自己的視覺-語言-動作（VLA）模型、數(shù)據(jù)集與訓(xùn)練框架。與此同時，行業(yè)競爭也逐漸集中到 benchmark 成績、任務(wù)成功率以及跨任務(wù)泛化能力上，尤其是在標(biāo)準(zhǔn)化或已訓(xùn)練任務(wù)中的表現(xiàn)。

這股競賽背后藏著一個行業(yè)里心照不宣的困境。大多數(shù) VLA 模型的評測，都是在針對特定任務(wù)微調(diào)之后才進(jìn)行的。說白了，就是先技術(shù)細(xì)節(jié)，而是關(guān)乎整條技術(shù)路線的根本問題：我們是在訓(xùn)練「通用機(jī)器人大腦」，還是在為每臺機(jī)器人定制一套任務(wù)腳本？

就在這場關(guān)于泛化能力的追問中，自變量機(jī)器人（X Square Robot）選擇了一種更直接的回答方式：直接把沒有經(jīng)過任何任務(wù)微調(diào)的預(yù)訓(xùn)練模型搬上真實機(jī)器人，在 17 個任務(wù)上公開測試。這個模型叫Wall-OSS-0.5

• 項目鏈接：https://x2robot.com/oss#resources
• 論文地址：https://x2robot.com/api/files/file/wall_oss_05.pdf
• 代碼倉庫：https://github.com/X-Square-Robot/wall-x
• 模型權(quán)重：WALL-OSS-FLOW / WALL-OSS-FAST（Hugging Face）

要理解這項研究成果的意義，需要先知道機(jī)器人策略模型是怎么被訓(xùn)練出來的。

一個典型的 VLA 模型會先吸收大量的視覺和語言數(shù)據(jù)，形成對世界的基礎(chǔ)認(rèn)知，就像一個剛從大學(xué)畢業(yè)、學(xué)過很多理論的新人。但要讓它真正上手操作，還需要針對具體崗位進(jìn)行「在職培訓(xùn)」：給它看幾百條這個任務(wù)的示范軌跡，讓它學(xué)會「怎么擰螺絲」或者「怎么折疊毛巾」。

問題在于，這種「考前培訓(xùn)」模式讓人很難判斷：是大學(xué)課程（預(yù)訓(xùn)練）起了作用，還是培訓(xùn)班（微調(diào)）解決了問題？過去的多數(shù)論文都是在微調(diào)之后才匯報成績，讓預(yù)訓(xùn)練階段的真實貢獻(xiàn)始終藏在迷霧里。

Wall-OSS-0.5 提出的問題是：如果不允許微調(diào)，預(yù)訓(xùn)練的模型能干什么？

答案出乎意料地樂觀。

預(yù)訓(xùn)練即可部署

Wall-OSS-0.5 是一個 VLA 模型，在超過 20 種機(jī)器人形態(tài)、每輪超過 100 萬條軌跡的數(shù)據(jù)上完成預(yù)訓(xùn)練，同時混入了約 9000 萬條多模態(tài)語料。

Wall-OSS-0.5 能力概覽：涵蓋預(yù)訓(xùn)練真實機(jī)器人行為、下游適配、仿真遷移及具身多模態(tài)理解。

自變量團(tuán)隊隨后把這個完全沒有任務(wù)特定微調(diào)的預(yù)訓(xùn)練 checkpoint，直接放到真實機(jī)器人上跑了 17 個任務(wù)，涵蓋語義理解、剛性物體操作、柔性物體操作、精細(xì)操作和長程多步操作五大類別。

結(jié)果非常亮眼！400k 預(yù)訓(xùn)練步數(shù)的 checkpoint 在 17 個零樣本任務(wù)中，4 個任務(wù)的得分超過 80 分（滿分 100 分）：

400k 預(yù)訓(xùn)練 checkpoint 達(dá)到了及格分?jǐn)?shù)的任務(wù)（零樣本）。

• 積木分揀（Block Sorting）：100 分（已見任務(wù)）
• 水果分揀（Fruit Sorting）：96 分（已見任務(wù)）
• 套環(huán)疊放（Ring Stacking）：86 分（已見任務(wù)）
• 繩子收緊（Rope Tightening）：82 分（未見任務(wù)，柔性操作）

視頻鏈接：https://mp.weixin.qq.com/s/N8WlG3OydsmcV_o9lIvaxw

需要特別注意的是「繩子收緊」這個任務(wù)。它是一個完全沒有在預(yù)訓(xùn)練集中出現(xiàn)過的柔性物體任務(wù)，屬于 17 個任務(wù)中最難的類型之一——不僅需要雙臂協(xié)調(diào)，還要感知繩子的松緊狀態(tài)并動態(tài)調(diào)整力度。

能以 82 分的成績完成，是這次實驗最有說服力的數(shù)據(jù)點之一：模型不是「背過」這道題，而是真的遷移了某種可復(fù)用的操作能力。

從訓(xùn)練進(jìn)度來看，這些能力并非一開始就有。隨著預(yù)訓(xùn)練步數(shù)增加（從 50k 步到 400k 步），見過的任務(wù)平均得分從 26.1 升至 50.0，沒見過的任務(wù)平均得分從 24.2 升至 53.6——兩條曲線幾乎并排上升。這意味著模型積累的能力確實在向新任務(wù)遷移，而不只是記住了訓(xùn)練分布里的任務(wù)樣板。

不同的預(yù)訓(xùn)練 checkpoint 的零樣本評估趨勢。

論文稱這種現(xiàn)象為能力的階梯式涌現(xiàn)（staircase emergence）：積木分揀從大約 50 分跳躍到 100 分，套環(huán)疊放從 73 分跳躍到 100 分，都發(fā)生在訓(xùn)練中后期的某個臨界點。這像極了大語言模型中觀察到的涌現(xiàn)現(xiàn)象。更重要的是，到 400k 步時，整體平均任務(wù)進(jìn)度還在上升，尚未飽和，這意味著更長的預(yù)訓(xùn)練有望能帶來更多提升。我們也期待進(jìn)一步的研究為我們揭示具身智能預(yù)訓(xùn)練的 Scaling Law。

當(dāng)然，零樣本并非萬能。毛巾折疊（10 分）、餐桌擺設(shè)（9 分）、充電器插接（9 分）這三個任務(wù)幾乎無法完成，它們涉及柔性形變和精細(xì)對準(zhǔn)，是對精度要求最高的類別，單靠預(yù)訓(xùn)練還遠(yuǎn)遠(yuǎn)不夠。

不同預(yù)訓(xùn)練步數(shù)的 checkpoint 在不同已見和未見任務(wù)上的零樣本表現(xiàn)。

這些任務(wù)清晰地描繪出當(dāng)前能力邊界：一旦任務(wù)的「語義理解」成分占主導(dǎo)，預(yù)訓(xùn)練就能發(fā)揮；一旦涉及精度等更多要求，就需要微調(diào)來補(bǔ)足。

不僅學(xué)得快，還越動越聰明？

如果說零樣本測試證明了 Wall-OSS-0.5 擁有「物理直覺」，那么在需要針對特定任務(wù)進(jìn)行微調(diào)的場景下，它則展現(xiàn)出了作為基座模型的「先驗優(yōu)勢」。

微調(diào)階段的大幅領(lǐng)先

在包含 15 項真實機(jī)器人任務(wù)的微調(diào)評估中，Wall-OSS-0.5 展現(xiàn)了極高的學(xué)習(xí)效率與上限。對比行業(yè)標(biāo)桿 π0.5，在同樣的微調(diào)數(shù)據(jù)預(yù)算下，Wall-OSS-0.5 的平均任務(wù)進(jìn)度達(dá)到了 60.5，不僅領(lǐng)先前者 17.5 分，更是在涵蓋抽屜整理、碗中放勺等 10 項核心操作任務(wù)的子集上，將領(lǐng)先優(yōu)勢擴(kuò)大到了 26 個百分點。

這種優(yōu)勢在主流仿真基準(zhǔn)測試中同樣表現(xiàn)穩(wěn)健：

• 高難度操作：在 RoboCasa 廚房模擬環(huán)境的精密插入（Insertion）任務(wù)中，Wall-OSS-0.5 的成功率達(dá)到了 39.6%，而 π0.5 僅為 4.0%，在強(qiáng)約束任務(wù)的處理上實現(xiàn)了近乎一個數(shù)量級的提升。

在 RoboCasa 廚房操控任務(wù)中的分項對比。Wall-OSS-0.5 在 articulated（關(guān)節(jié)）及 insertion（插入）等精細(xì)操控任務(wù)中優(yōu)勢極為明顯。

• 適配效率：在 LIBERO 單臂操控基準(zhǔn)上，Wall-OSS-0.5 僅需 20k 步微調(diào)即達(dá)到 97.5% 的平均成功率，不僅成績超越了 π0.5 經(jīng)過 30k 步訓(xùn)練的成績，更直接節(jié)省了約三分之一的算力與適配時間。

• 場景魯棒性：在包含 50 個雙臂協(xié)作任務(wù)的 RoboTwin 平臺中，面對充滿光照與背景干擾的隨機(jī)化場景，Wall-OSS-0.5 依然保持了 80.9% 的高成功率，展現(xiàn)出極強(qiáng)的域外泛化能力。

動作訓(xùn)練還能倒逼感知能力進(jìn)化

在以往的具身智能研發(fā)中，讓模型「肢體發(fā)達(dá)」（學(xué)會操作）往往伴隨著「頭腦簡單」（視覺-語言理解能力退化）的代價。但 Wall-OSS-0.5 在接受高強(qiáng)度的動作訓(xùn)練后，其基礎(chǔ)圖文理解能力不僅沒有崩壞，反而迎來了對機(jī)器人至關(guān)重要的「能力重塑」。

測試顯示，該模型在具身視覺定位任務(wù)上的能力暴漲了 21.8 分，在 Placement reasoning（放置推理）任務(wù)中提升了 11.0 分。這標(biāo)志著模型并沒有因為學(xué)習(xí)動作而變成一個只會輸出坐標(biāo)的「盲目機(jī)器」，而是主動將自身龐大的通用視覺算力，傾斜到了「尋找目標(biāo)、判斷方位、推理落點」這些操控任務(wù)最急需的感知能力上。

多模態(tài)感知能力的「能力重塑」。通過協(xié)同訓(xùn)練，模型將通用視覺算力轉(zhuǎn)化為機(jī)器人更急需的具身感知能力，在 Grounding 和 Where2Place 等任務(wù)上表現(xiàn)出顯著的性能躍遷。

這種「魚與熊掌兼得」的特性，證明了其協(xié)同訓(xùn)練方案不僅有效，而且在物理世界的感知與操作之間建立了一種良性的互補(bǔ)關(guān)系。

Wall-OSS-0.5 為什么這么強(qiáng)？

從結(jié)果來看，Wall-OSS-0.5 著實相當(dāng)強(qiáng)，甚至可以說有點反常：一個從未見過這些任務(wù)的預(yù)訓(xùn)練模型，零樣本就能完成柔性雙臂操作；微調(diào)后更是在多個任務(wù)上將 π0.5 甩開 30 個百分點以上。這種級別的領(lǐng)先，不像是某個超參數(shù)調(diào)得更好的結(jié)果，而更像是底層訓(xùn)練邏輯上的系統(tǒng)性差異。

那么，它到底做對了什么？

答案其實隱藏在一個被很多人忽視的差異中：大語言模型輸出文本是「一截一截」的離散狀態(tài)，而機(jī)器人的物理動作必須是「絲滑連貫」的連續(xù)曲線。如果把動作直接以連續(xù)信號灌入主干，這股信號對習(xí)慣了文字接龍的 VLM 來說太微弱，根本無法撼動其底層認(rèn)知。論文數(shù)據(jù)也印證了這一點：訓(xùn)練穩(wěn)定后，流匹配損失對主干的梯度貢獻(xiàn)僅剩約 5%。

換句話說，要想讓連續(xù)動作直接「教會」主干大腦，幾乎是徒勞的。自變量團(tuán)隊的解法是：既然連續(xù)信號太弱，那就借道離散，把梯度強(qiáng)行送進(jìn)去。以下四項設(shè)計，共同支撐起這套「用離散路徑傳梯度、用連續(xù)路徑做執(zhí)行」的訓(xùn)練框架。

梯度橋接：讓動作反向塑造主干大腦

當(dāng)前主流的 VLA 訓(xùn)練大多采取「分層隔離」策略：先用海量視覺-語言數(shù)據(jù)預(yù)訓(xùn)練主干，再在其頂部掛一個動作專家單獨訓(xùn)練。這種做法雖然安全，但代價是主干模型本身永遠(yuǎn)學(xué)不會「動作」，它只是在為動作專家提供特征，并不真正理解物理世界的可操作結(jié)構(gòu)。

Wall-OSS-0.5 的方法是：梯度橋接協(xié)同訓(xùn)練。團(tuán)隊將動作離散化為特殊的「字符 Token」，與文本 Token 拼接到同一條自回歸序列中，用大模型最原生、最強(qiáng)烈的交叉熵?fù)p失進(jìn)行訓(xùn)練。

這一支路就像在 VLM 大腦中架起了一座「梯度橋」，強(qiáng)迫主干在預(yù)訓(xùn)練階段就把「看、說、動」統(tǒng)一在同一套表征空間里。同時，模型保留流匹配損失用于生成連續(xù)動作，并輔以多模態(tài)交叉熵?fù)p失作為錨點防止視覺語言能力退化。三路信號協(xié)同開火，消融實驗證明：一旦砍掉這座「橋」，真實機(jī)器人任務(wù)成功率會出現(xiàn)斷崖式下降。

梯度橋接效應(yīng)驗證。實驗證明，將動作監(jiān)督通過「梯度橋」直接引入主干，遠(yuǎn)勝于簡單的分層隔離策略。

視覺對齊的動作 Tokenizer：傳遞語義，而非數(shù)字

梯度橋建好了，但跑在橋上的是什么貨？如果離散 Token 只是對動作做機(jī)械的數(shù)值壓縮，那傳進(jìn)主干大腦的只是一串沒有物理意義的編號，主干學(xué)到的也只是統(tǒng)計學(xué)上的共現(xiàn)。業(yè)界廣泛使用的 FAST Tokenizer 就存在這個問題：它能還原動作，但并不知道這個動作「對應(yīng)畫面里發(fā)生了什么」。

Wall-OSS-0.5 訓(xùn)練了一個視覺對齊的殘差向量量化 Tokenizer。它在量化動作的同時，強(qiáng)制 Token 的表征與對應(yīng)時刻的視覺特征對齊，并要求其預(yù)測下一幀的視覺變化。這樣一來，每一個動作 Token 都同時承載了「電機(jī)怎么轉(zhuǎn)」和「畫面怎么變」兩層信息。它和視覺、語言進(jìn)入了同一個語義空間，主干網(wǎng)絡(luò)在預(yù)測下一個動作時，其實就是在腦海里進(jìn)行高維度的時空推演。

視覺對齊動作 Tokenizer 的工作流。模型不僅壓縮動作，更強(qiáng)制動作表征與視覺特征對齊，賦予 Token 真正的「物理含義」。

動作空間監(jiān)督：把好鋼用在刀刃上

主干懂了語義，但最終指揮機(jī)器人軀體干活的，還得靠連續(xù)分支輸出的軌跡。流匹配的標(biāo)準(zhǔn)做法是預(yù)測「速度」（噪聲到目標(biāo)的瞬時方向）。然而，機(jī)器人的物理動作軌跡有一個特性：整體形狀（低頻結(jié)構(gòu)）決定任務(wù)能否完成，而高頻細(xì)節(jié)幾乎不影響成敗。如果在速度空間里算損失，模型會像強(qiáng)迫癥一樣，把大量算力浪費在擬合無關(guān)的高頻抖動上。

自變量團(tuán)隊直接修改了底層邏輯：把損失從「預(yù)測速度」改寫為「預(yù)測重建出來的最終動作」。這在數(shù)學(xué)上等價于對動作軌跡成型初期（高噪聲階段）進(jìn)行了自動加權(quán)。這就好比讓畫師先集中精力把人體的骨架打準(zhǔn)，再去描繪衣服的褶皺，讓模型在仿真中跑出了遠(yuǎn)超前人的收斂速度和穩(wěn)定性。

動作空間監(jiān)督 vs 速度空間監(jiān)督。通過將學(xué)習(xí)重心調(diào)整至軌跡結(jié)構(gòu)的塑造，模型在訓(xùn)練效率和成功率上均表現(xiàn)更優(yōu)。

DMuon：掃除異構(gòu)計算的系統(tǒng)工程路障

上述極其精妙的多源監(jiān)督架構(gòu)，帶來了一個工程層面的副作用：模型內(nèi)部參數(shù)尺度與梯度強(qiáng)度高度異構(gòu)：VLM 骨干來自大規(guī)模預(yù)訓(xùn)練，動作頭則是從頭初始化，三路損失反傳的梯度量級系統(tǒng)性失配。

這是 Muon 優(yōu)化器的用武之地：通過 Newton-Schulz 迭代對更新矩陣做正交化，能有效緩解這種異構(gòu)困難。但原生的 Muon 單步開銷大得離譜。

為此，團(tuán)隊實現(xiàn)了DMuon（分布式 Muon）。結(jié)合基于 LPT 的專屬所有權(quán)調(diào)度以及回收迭代冗余計算的 CuteDSL 內(nèi)核，他們把引入 Muon 的整體開銷從 2x 降至 0.02x，縮減了約 100 倍。這種即插即用的系統(tǒng)級優(yōu)化，讓這套龐雜的訓(xùn)練配方在大規(guī)模集群上真正成為現(xiàn)實。

四項設(shè)計，各有側(cè)重，但指向同一個目標(biāo)：讓主干網(wǎng)絡(luò)在預(yù)訓(xùn)練階段就真正「經(jīng)歷」過動作，而不只是「見過」動作數(shù)據(jù)。梯度橋確保動作監(jiān)督能穿透進(jìn)主干；語義 Tokenizer 確保穿透進(jìn)去的是有物理意義的信號；動作空間監(jiān)督確保連續(xù)執(zhí)行路徑把好鋼用在刀刃上；DMuon 則確保這套精密配方在真實的大規(guī)模訓(xùn)練中跑得起來。

開放，是通向通用機(jī)器人的唯一密碼

自變量機(jī)器人（X Square Robot）成立于 2023 年 12 月，是國內(nèi)較早押注「端到端通用具身智能大模型」路線的創(chuàng)業(yè)公司之一。

在商業(yè)模型之外，自變量一直將開源作為推動行業(yè)進(jìn)步的重要方式。此前發(fā)布的 WALL-OSS 系列模型已開放給開發(fā)者社區(qū)，配套提供訓(xùn)練代碼與技術(shù)文檔，并通過「具亮計劃 2026」黑客松活動鼓勵開發(fā)者在真實機(jī)器人上復(fù)現(xiàn)與創(chuàng)新。

Wall-OSS-0.5 是這一系列的最新版本，在前代基礎(chǔ)上將評估標(biāo)準(zhǔn)推進(jìn)到了「預(yù)訓(xùn)練 checkpoint 直接上真機(jī)」的更高維度，并且模型權(quán)重、訓(xùn)練配方、消融實驗與底層優(yōu)化器實現(xiàn)一并公開。

當(dāng)然，具身智能還有很長的路要走。毛巾折疊和充電器插接還在 10 分以下，長程任務(wù)仍依賴單幀視覺輸入……這些未解決的問題，論文里寫得很清楚，團(tuán)隊也沒有回避。

整體而言，Wall-OSS-0.5 為具身智能研究提供了一套經(jīng)過真機(jī)驗證、可以被復(fù)現(xiàn)和挑戰(zhàn)的基線，可以成為關(guān)注這個方向的研究者和開發(fā)者進(jìn)一步探索開拓的起點。