VLMgineer讓大模型自己「發明工具」，從設計到使用全自動

人類之所以能主宰地球，很大程度上歸功于一項獨特的認知能力——制造和使用工具。從石器時代的燧石刀到現代的精密儀器，工具的發明一直是衡量智能水平的核心標志。

然而，當我們審視當今最前沿的機器人研究，會發現一個有趣的不對稱：絕大多數工作都在追求更復雜的控制策略——讓機器人「手更巧」，卻很少有人思考一個更本質的問題：能不能讓工具本身更合適，從而讓控制變得更簡單？

試想一下：如果你需要夠到遠處的杯子蛋糕，與其訓練機械臂做出高難度的伸展動作，不如直接設計一根形狀恰到好處的「取物鉤」——這才是另一種形式的「物理智慧」。

自然界中也有相應的例子，新喀里多尼亞烏鴉可以自己制造并使用工具從狹小的縫隙中取出食物。

那么問題來了：今天的大模型，能否自動為機器人設計這樣的工具和相應的使用動作？

來自賓夕法尼亞大學的研究者在這個方向上做了探索。他們提出了 VLMgineer，一個全自動的工具設計與使用框架，利用視覺語言模型（VLM）的創造力與進化搜索，讓機器人從零開始自主設計工具并學會使用它們。該工作已被 ICLR 2026 接收。

• 論文：VLMgineer: Vision Language Models as Robotic Toolsmiths
• 項目主頁：https://vlmgineer.github.io
• 論文地址：https://arxiv.org/abs/2507.12644

VLMgineer 概念圖。當機器人遭遇現實中物理限制困境時，他需要利用VLM思考如何設計合適的工具和相應的動作來找到解決辦法

研究背景：為什么要讓機器人「造工具」？

在日常生活中，很多任務對于標準的機器人夾爪來說幾乎不可能完成：夠不到遠處的物體、鏟不起一堆小球、撬不開密封管道中的方塊……傳統思路是設計更復雜的控制算法來彌補硬件的不足，但這往往事倍功半。

VLMgineer 提出了一種不同的范式：把問題的復雜度轉移到工具的幾何形狀中，讓控制變得更簡單。一個設計合理的工具，可以將原本需要精密操控才能完成的任務，變成簡單的「推一下」「勾一把」就能搞定的事情。

但此前的計算化工具設計方法面臨兩大瓶頸：

• 痛點一：依賴人工定義參數空間。現有方法通常要求研究者手動為每個任務指定工具的優化參數模板，極度依賴領域專家知識，難以擴展到新任務。
• 痛點二：工具設計與使用策略割裂。大多數方法先優化工具形狀，再單獨訓練控制策略，無法實現工具幾何與操作動作的協同優化。

VLMgineer 的核心方法

VLMgineer 的核心思想可以概括為一句話：讓大模型當「工具設計師」，讓進化搜索當「質檢員」。

值得一提的是，VLMgineer 是一個端到端由 VLM 驅動的框架——從理解任務場景、構思工具幾何、到規劃使用動作，全部由 VLM 在統一的推理過程中完成，而非將流程拆解為多個獨立模塊再分別處理。這一設計選擇背后的核心問題是：VLM 自身是否已經具備足夠的物理創造力，來端到端地完成從工具構思到動作規劃的全過程？實驗結果對此給出了積極的信號。下圖描述了此方法的整體框架。

VLMgineer 核心模塊和運行框架

整個框架由三大核心模塊構成：

1. 工具-動作聯合采樣（Joint Tool-Action Sampling）

與以往先設計工具、再優化動作的串行模式不同，VLMgineer 讓 VLM 在單次推理中同時生成工具幾何（以 URDF 格式描述）和對應的機器人動作序列（末端執行器的 6-DoF 路徑點）。 這種聯合采樣的關鍵洞察在于：工具的形狀天然約束并賦能了動作策略——一個設計合理的工具可以讓控制變得更加簡單。因此，同步優化能讓 VLM 利用其內在的物理直覺，在工具-動作的聯合設計空間中高效探索。

2. 仿真評估與適者生存（Simulation Evaluation & Selection）

每一對工具-動作設計方案都會被送入 PyBullet 仿真器進行評估。系統通過任務特定的獎勵函數對每個方案打分，然后保留表現最優的 top-k 個「精英設計」。

3. VLM 引導的進化搜索（VLM-Guided Evolutionary Search）

這是 VLMgineer 中最有意思的環節。系統將精英設計反饋給 VLM，要求其通過歸納式上下文變異與交叉（Inductive In-Context Mutation & Crossover）來產生新一代設計：

• 變異：對單個精英工具做一處改變——調整某個組件的尺寸、增加或移除一個部件等。
• 交叉：從兩個精英工具中各取所長，組合出全新的設計。

關鍵之處在于，這里的變異和交叉操作完全由 VLM 的世界知識和物理直覺來驅動，而非手工定義的算子。這使得進化過程能夠產生一些頗具創意的設計方案。

RoboToolBench：12 項工具設計挑戰

為了系統評估工具設計能力，研究團隊同時推出了 RoboToolBench——一個包含 12 項多樣化機器人工具使用任務的仿真基準。這些任務涵蓋了：

• 夠取遠處物體（BringCube）、清掃桌面（CleanTable）、從密封管道中取出方塊（DislodgeCube）
• 舉起盤子（ElevatePlate）、收集小球（GatherSpheres）、從高處取物（HighObject）
• 搬運箱子（LiftBox）、移動球體（MoveBall）、抽取中間書本（OneBook）
• 射門得分（ScoreGoal）、從罐中取餅干（SnatchCookie）、轉移火雞腿（TurkeyLegs）

所有任務對標準 Franka Panda 夾爪來說都極具挑戰性，迫使系統必須設計合適的工具才能成功。

圖中所有工具均由此方法設計

VLMgineer 生成的工具展現出了不錯的多樣性和創造力，側面體現了 AI 的「物理創造力」。從簡潔的鏟形工具到復雜的多組件結構，從擁抱式抓取器到帶護欄的收集裝置——這些設計不是對現有工具的簡單復制，而是針對特定任務進化出的定制化幾何形態。

其中幾個值得一提的任務：

DislodgeCube——復刻烏鴉的工具智慧。機器人需要從密封管道中取出方塊，這個任務的靈感來源于新喀里多尼亞烏鴉使用工具從狹小空間中取出物體的行為——VLMgineer 成功地為機器人找到了解決這類問題的工具方案。

MoveBall——用結構降服動態。控制球體滾動是一個高度動態的行為，用夾爪直接推球對控制精度要求極高。VLMgineer 的解法是讓工具幾何來吸收這種不確定性——進化出的弧形護框將球兜住再推送，把一個動態控制難題變成了簡單的平移操作。

ElevatePlate——用工具端盤子。桌面上放著一個白色盤子，機器人需要將其穩定舉起。對于沒有工具的標準夾爪來說，盤子太扁太滑，上手比較困難。

CleanTable——提高打掃效率。桌面上散布著多個小物體，需要將它們清掃到指定區域。用夾爪逐個抓取效率極低，VLMgineer 進化出了寬面推掃工具，能夠一次性將散落物體歸攏清理，把一個多步驟的抓取任務簡化為一次干脆的推掃動作。

誠然，上述任務本身都比較簡單。但換個角度看，VLMgineer 真正驗證的是一種可能性：在沒有任何人工提示的情況下，VLM 能夠從零開始進化出功能合理的工具設計和使用動作。這意味著，當未來的機器人面對開放環境中的未知任務時，它們或許不需要等待工程師手動設計專用工具，而是可以在自主行動和探索的過程中，按需為自己「發明」所需的工具。

實驗結果

與人類提示設計的對比

研究團隊設置了一組對比實驗：讓不同背景的人類（機器人專家、LLM 專家、普通人）用自然語言向 VLM 描述他們設想的工具設計，然后與 VLMgineer 的全自動設計進行對比。

實驗結果顯示：VLMgineer 在 12 項任務上的表現均優于人類提示的設計方案，在最優和平均表現上都有一致的提升。相比人類指定的 VLM 設計，VLMgineer 取得了平均64.7%的歸一化提升。

一個值得關注的現象是，人類設計的工具雖然在直覺上合理，但往往需要更精密的控制策略才能發揮作用；而 VLMgineer 的設計傾向于在幾何上做更多文章，使得下游控制更加簡單直接。

與現有 Benchmark 工具的對比

在從 RLBench 改編的 4 項任務中，VLMgineer 設計的工具在性能上也優于原始的 Benchmark 工具，平均歸一化提升達24.3%

以 BringCube 任務為例：RLBench 提供的是一根簡單的棍子，對方塊的側向控制不足，導致操作不太穩定；而 VLMgineer 進化出了一個類似「籠子」的結構，能更可靠地鎖住并移動方塊。

在 GatherSpheres 任務中，VLMgineer 設計了帶有側面護板和頂部條紋結構的鏟子，有效防止小球在搬運過程中彈出——這種設計細節完全是進化過程中自動涌現的。

進化搜索的關鍵作用

消融實驗表明，進化搜索是 VLMgineer 性能提升的重要來源。在同等采樣預算下（8000 次評估），進化搜索策略比暴力隨機采樣平均高出119.2%

從定性角度看，進化過程做出的改進往往直覺上很合理：開口鏟子被加上了護欄以防止灑落，推球器被增加了擁抱式邊框以提升控制精度。這些案例體現了 VLM 的物理先驗知識在迭代優化中被逐步激發和放大的過程。

從仿真到真機的驗證

為驗證實際部署效果，團隊選取了 3 項任務（MoveBall、ElevatePlate、GatherSpheres），將 VLMgineer 在仿真中設計的最佳工具3D 打印出來，安裝在真實的 Franka Panda 機器人上，直接執行仿真中優化的動作路徑。

GatherSpheres

ElevatePlate

MoveBall

總結與展望

VLMgineer 的提出，為機器人物理智能提供了一個新的視角：不只是學會更靈巧地操控，還可以學會設計更合適的工具。實驗結果表明，視覺語言模型中蘊含的物理世界知識，通過進化搜索的引導，能夠產生有效且富有創意的工具設計方案。

當然，VLMgineer 目前也存在一些局限：動作表示限于離散路徑點、工具幾何限于簡單形狀、尚未探索多任務泛化等。但作為首個全自動工具設計框架，它為未來更自適應、更智能的機器人系統提供了一個值得探索的方向：

當機器人不僅能使用工具，還能自主設計工具時，我們或許離真正通用的物理智能又近了一步。

作者團隊（* 和 ** 表示共同作者排序）

George Jiayuan Gao*，目前 Dyna Robotics 技術人員，獲得賓夕法尼亞大學 GRASP Lab 機器人碩士，導師為 Nadia Figueroa 和 Dinesh Jayaraman。研究方向為結合學習方法與控制理論，使機器人安全智能地與物理世界交互。

Tianyu Li*，賓夕法尼亞大學 GRASP Lab 博士生，導師為 Nadia Figueroa。研究方向重點涵蓋高效的機器人操作策略學習、機器人安全物理交互與人機協作。

Junyao Shi，賓夕法尼亞大學 GRASP Lab 博士生，導師為 Dinesh Jayaraman，目前在 Skild AI 擔任研究實習生。研究方向為機器人學習，重點關注利用人類數據和基礎模型構建通用機器人。

Yihan Li**，賓夕法尼亞大學 GRASP Lab 機器人碩士生，導師為 Nadia Figueroa，同時入選 ETH 2025 機器人學生 Fellow。研究方向為機器人控制與學習。

Zizhe Zhang**，賓夕法尼亞大學 GRASP Lab 機器人碩士生，導師為 Nadia Figueroa。研究方向涵蓋控制理論、機器人學習與人機交互。

Nadia Figueroa，賓夕法尼亞大學機械工程與應用力學系助理教授，隸屬于 GRASP Lab。研究聚焦于開發能與人和動態環境進行物理交互的人機協作系統，融合機器人學、機器學習與控制理論。

Dinesh Jayaraman，賓夕法尼亞大學計算機信息與科學助理教授，隸屬于 GRASP Lab。研究方向處于機器人學、機器學習與計算機視覺的交叉領域，致力于讓機器人通過視覺感知來學習和行動。