圖像編輯模型不止生成：BIGAI&上交大提出EAR范式，系統測試其視覺規劃能力

EAR 范式與 AMAZE 基準將視覺規劃重構為單步圖像編輯任務，揭示當前圖像編輯模型可通過微調獲得一定的視覺規劃能力。

在人類智能中，視覺規劃是一項核心能力——從走迷宮到棋盤布局，我們往往依賴空間直覺快速完成決策。然而，當前機器學習模型大多仍依賴“語言推理”，將視覺問題轉化為文本進行處理。

這也帶來一個關鍵問題：如果不把視覺問題先轉換成文本，而是直接交給模型，它們是否具備原生的視覺規劃能力？

圍繞這個問題，上海交通大學聯合北京通用人工智能研究院提出了一種全新的范式——Editing as Reasoning（EAR），以主流圖像編輯模型為研究對象，將復雜的視覺規劃任務轉化為單步的圖像編輯。在《Probing Visual Planning in Image Editing Models》工作中構建了一個全新的評測基準 AMAZE，系統性地分析當前圖像編輯模型的視覺推理能力。該論文已被 ICLR Efficient Spatial Reasoning Workshop 2026接收。

論文：https://arxiv.org/abs/2604.22868

項目主頁：https://spatigen.github.io/amaze.io/

代碼：https://github.com/spatigen/amaze

Benchmark：https://huggingface.co/spaces/piekenius123/Amaze-Visualization

01

核心思想

傳統做法往往要求模型借助文本模態的輔助，例如先將本質上屬于視覺規劃的問題轉寫為文本，交給大語言模型處理，或依賴視覺語言模型進行基于文本思維鏈的多模態推理；或者讓模型一步一步生成中間狀態，再逐步逼近最終解；而 EAR 直接要求模型把輸入謎題圖像直接輸出為最終求解完成的結果圖像，把整個規劃過程壓縮為單步視覺編輯。模型不能只看懂圖，還要在視覺空間中完成路徑選擇、沖突消解與全局協調。

為了讓評測真正可落地，項目還設計了兩類自動指標：

• Coverage / Violation：模型生成結果中，與正確解重合/違反正確解約束的比例。

• MSE-In / MSE-Out：分別度量解區域內外的像素級誤差。

Pass：綜合 Coverage 與 Violation 后得到的邏輯有效的通過性指標。基于單次或多次采樣統計，研究人員統計模型的通過率Pass@1 / Pass@5。

02

任務設計

為了符合EAR 單步視覺規劃的范式核心，AMAZE基準用兩類任務覆蓋了兩種互補的視覺規劃模式：Maze任務和Queen任務。

其中，

• Maze 任務覆蓋 3×3到 16×16 尺度，并包含圓形、六邊形、方形、三角形四種幾何拓撲。

• Queen 任務覆蓋 4×4 到 10×10尺度。

• Maze 測試集共 2800個樣本，Queen 測試集共 350 個樣本。

03

核心實驗發現：模型會“畫”，但離真正會“規劃”還有距離

1. 零樣本表現整體偏弱

整體來看，即便是前沿閉源圖像編輯模型，在抽象視覺規劃上的零樣本能力也依然比較有限。

在 Maze 任務上，閉源模型的最佳 Pass@1 僅為 5.40%，說明它們幾乎不具備穩定的零樣本求解能力。這些模型的典型問題是難以嚴格遵守迷宮邊界，常常生成“穿墻”路徑。其中，GPT-Image-1 的指令遵循能力最弱，Violation 高達 62.88%。NanoBanana-Pro 雖然在像素級保真度上表現最好，但往往會過度生成，畫出貫穿整個迷宮的路徑，因此 Violation 仍然較高，達到 47.76%。Seedream-4.5 看起來更能遵守約束，Violation 低于 20%，但這主要是因為它傾向于少生成，往往無法畫出完整路徑，本質上屬于欠生成。

在 Queen 任務上，只有 NanoBanana-Pro 的零樣本表現相對突出，Pass@1 達到 30.35%，其余閉源模型幾乎都接近于零。NanoBanana-Pro 在 Queen 上異常突出的表現，也說明它很可能在訓練階段見過相似任務。

2. 擴散式模型可能比自回歸模型更適合視覺規劃

論文首先指出，Bagel 和 Janus-Pro 在零樣本設置下都難以遵循指令并生成有效解，說明這類抽象視覺規劃任務對它們而言仍屬于明顯的 out-of-domain 場景。為進一步考察模型能否通過后訓練獲得視覺規劃能力，作者基于最基礎尺度的數據對模型進行了監督微調，訓練集包括四種幾何類型的 3×3 Maze以及4-Queens 任務。

在此基礎上，論文比較了擴散式模型與自回歸模型在視覺規劃上的潛力。結果顯示，二者在微調前的 Pass@1 都為 0，但微調后，作為擴散式模型代表的 Bagel 在 Maze 上將 Pass@1 提升到 11.54%，而作為自回歸模型代表的 Janus-Pro 僅達到 1.43%；在 Queen 任務上，Bagel 的 Pass@1 也達到 14.57%，高于 Janus-Pro 的 12.57%。

這一結果說明，監督微調確實能夠激發模型的視覺規劃能力，但不同生成范式的受益程度并不相同。擴散式圖像編輯模型在形成視覺規劃邏輯方面，可能比自回歸模型更具優勢。一個可能的原因是，擴散模型通過逐步去噪來構建全局結構，更容易在圖像空間中維持整體一致性；而自回歸模型依賴逐 token、局部順序式生成，天然更容易受限于局部視角，因而在需要全局協調的視覺規劃任務中處于劣勢。

3. Chain-of-Thought（CoT，思維鏈） 并不總是有效

研究人員進一步測試了思維鏈提示（Chain-of-Thought, CoT）對視覺規劃任務的影響，但整體結果并不穩定。對于 Bagel、Janus-Pro這類統一多模態架構而言，CoT在零樣本設置下幾乎沒有帶來明顯收益，說明當模型尚未真正掌握任務本身的結構邏輯時，僅僅加入“分步思考”的提示，并不能有效提升其求解能力。

不過，在經過監督微調之后，CoT又能帶來一定程度的邊際改善。例如，在 Maze 任務上，微調后的 Bagel 的 Pass@1 從 11.54% 提升到 17.90%。但這種收益并不穩定：同樣是 Bagel，在 Queen 任務上加入 CoT 后，Pass@1 反而從 14.57% 微降到 14.08%；這表明，模型需要先通過訓練內化任務背后的規劃邏輯，之后才可能真正利用中間推理步驟。換句話說，CoT更像是一種放大已有能力的機制。

4. 擴散圖像編輯模型到底是怎么做視覺規劃的？

為了探究擴散式圖像編輯模型在求解 Maze 和 Queen 時，究竟是在“直接畫答案”，還是確實呈現出某種逐步形成解的視覺規劃行為，研究人員展示了微調后的 Bagel 在不同去噪步上的中間結果。

從 Maze 的可視化可以看出，正確路徑并不是在最后一步突然生成，而是在較早階段就以較低置信度的形式出現，例如 t=1、2、4 時已經能看到模糊的候選軌跡。隨著去噪推進，路徑逐漸變清晰，錯誤分支也被不斷修正，最終收斂為有效解。這說明模型更像是先形成一個粗略的全局結構，再逐步細化到正確答案，這種“由粗到細”的過程也與擴散模型的去噪機制高度一致。

相比之下，Queen 呈現出不同的規劃模式：模型往往先生成一個粗糙的全局落子布局，再進行細粒度調整。這種差異反映了兩類任務本身的結構區別：Maze 更適合通過局部修補不斷逼近正確路徑，而 Queen 由于涉及全局約束下的組合規劃，更依賴整體結構的同步更新。整體來看，這一分析說明擴散式模型確實表現出某種視覺規劃的生成特征，但這種能力在不同任務上的成熟度并不一致，尤其在需要強全局協調的 Queen 任務上仍然明顯不足。真正困難的并不只是“把答案畫出來”，而是在視覺空間中維持跨區域、跨對象的一致性關系，而這正是當前圖像編輯模型仍然薄弱的環節。

04

泛化實驗：模型能否學會跨幾何、跨尺度的遷移

真正有價值的視覺規劃能力，不應該只在訓練時見過的圖上有效，還應該具備跨幾何、跨尺度的遷移能力。

1. 六邊形訓練最有利于跨幾何泛化

實驗發現，在 Maze 任務中，用六邊形迷宮訓練出來的模型，對其他幾何類型的遷移效果最好。研究人員猜測，六邊形具有更豐富的方向空間，相當于給模型提供了一個更廣義的動作集合，因此更容易學到超越單一拓撲的路徑規劃邏輯。

2. 僅用簡單尺度訓練，模型已具備跨尺度泛化能力

在 Maze 上，只用 3×3的簡單樣本微調，模型就能在更大尺度上表現出一定泛化能力，最高可以外推到 16×16。這說明模型并不只是死記硬背訓練樣本，而是學到了一部分可復用的路徑構造規律。

但 Queen 的情況要更難。僅在4×4上訓練，模型雖然能把同尺度任務做得很好，卻幾乎無法遷移到更大棋盤；只有在更大訓練尺度上學習后，才會出現真正有意義的跨尺度泛化。

05

Scaling Effect：數據與算力如何影響性能增長

當訓練數據和訓練算力持續增加時，視覺規劃能力是否會像其他大模型能力一樣穩定增長，又是在哪些條件下增長最快?

為此，研究人員以 Bagel 為對象，分別在 8×8 六邊形迷宮、8×8 圓形迷宮和 7-Queens 上進行微調，系統考察數據規模與訓練計算對性能的影響。結果表明，視覺規劃確實存在明顯的 scaling effect，但這種增長并不是平滑單調的統一規律，而是受到任務結構的制約。

1. 數據擴展的收益在約1600樣本后趨于飽和

研究人員在固定 1000 個訓練 step 的條件下，將訓練樣本數從 800 逐步增加到 1600、3200 和 6400。整體上，性能會在早期隨數據增長而上升，但當樣本數超過 1600 之后，收益便明顯趨于飽和。以六邊形 Maze 為例，性能從 65.2% 提升到 68.1%，主要發生在 800 → 1600 這一步，之后基本進入平臺期。

相比之下，Queen 任務在數據擴展初期的收益更明顯。同樣是從 800 增加到 1600，其性能提升可達到 +10.3%，顯著高于 Maze。這說明組合型視覺規劃更依賴豐富、多樣的解空間樣本，因而對數據規模更敏感。這意味著不同任務并不共享同一種數據擴展曲線，任務本身的結構會直接決定模型從數據中“吃到”多少增益。

2. 算力擴展呈現非線性收益，后期訓練貢獻更大

研究人員在固定 6400 個訓練樣本的前提下，將訓練步數從 500 增加到 1000。總體而言，增加訓練算力帶來了更穩定的性能改。更值得注意的是，這種增長并不是均勻發生的：在 500–700 step 區間內，提升相對有限；而在 700–1000 step 區間內，增益明顯放大。例如，六邊形 Maze 在 500–700 step 間提升 6.1%，而在 700–1000 step 間進一步提升了 15.8%。

06

模型與人類的視覺規劃能力差距

當前圖像編輯模型的視覺規劃能力，究竟距離人類還有多遠？

在這部分實驗中，研究人員選取了經過微調的 Bagel 作為模型代表，分別在 8×8 六邊形 Maze 和 7-Queens 任務上與人類進行對比。人類參與者分為 6 歲、12 歲 和 18 歲 三個年齡組，每組 4 人，分別代表視覺規劃與抽象推理能力發展的不同階段。每位參與者都需要完成不同難度層級的 Maze 和 Queen 任務，其中 Maze 包括 8×8、16×16、24×24 三個尺度，Queen 包括 4、7、10 三個尺度，從而覆蓋由易到難的多種場景。為了保證比較盡可能公平，作者允許參與者在正式落筆前進行不限時的心理推理，但一旦開始作答，就必須像模型生成圖像那樣一次畫完，不能擦除、回退或重來。與此同時，模型也被賦予與人類相同的時間預算，在這段時間內可以盡可能多地生成候選答案。

1. 人類表現隨時間提升，而模型收益有限

從結果來看，人類的成功率與可用時間呈現出更明顯的正相關關系。也就是說，隨著允許時間增加，人類通常能在更難任務上持續提高成功率；相比之下，模型的表現則相對平緩，即便獲得更多時間，提升也十分有限。這說明模型并不會像人類那樣通過更長時間的思考逐步完善解法，而更接近于在固定能力邊界內重復嘗試。

2. 模型能力呈任務依賴：Maze接近12歲，Queen接近6歲

除了直接比較成功率，論文還進一步計算了模型與不同年齡組人類之間的 Pearson 相關性，以分析它們在不同任務和難度下的表現趨勢是否相似。

結果很有意思：在 Maze 任務上，模型的表現模式與 12 歲 組最接近；而在 Queen 任務上，模型卻與 6 歲 組更相似。研究人員猜測，這很可能是因為 Queen 所代表的全局約束下的組合規劃，本身比 Maze 所代表的局部約束下的順序規劃更難，因此模型雖然已經在路徑型任務上展現出一定能力，但在需要全局協調的組合式視覺規劃中，依然停留在較初級的水平。

視覺規劃并不是單一能力，而是包含局部約束處理、全局協調和長程結構推理等多個層次，現有圖像編輯模型距離全面接近人類還有相當長的路要走。

07

錯誤分析：模型主要錯在違規與不完整

研究人員將模型的失敗案例概括為兩類：違反任務約束 和 不完全解。

前者指模型沒有真正遵守任務約束，反映出其指令遵循能力不足；在 Maze 中，這通常表現為路徑穿墻、越界，甚至直接把起點和終點硬連起來，在圓形、六邊形等復雜幾何中尤為明顯；在 Queen 中，則體現為落子位置違反全局約束。

后者則是“不完全解”，即模型雖然開始朝正確方向生成，但只完成了部分答案，體現出一種偏保守的生成策略；例如在 Maze 中，模型往往只能從起點畫出一段局部正確的前綴路徑，卻無法最終連到終點，這在更大尺度或跨域幾何中尤其常見；在 Queen 中，則對應只放對了一部分皇后。當前模型的主要問題并不只是完全不會做，而是常常停留在局部看起來合理、全局卻并不成立的階段。

08

從多模態理解到原生視覺規劃

從研究意義的角度，研究團隊并不只是在現有 benchmark 體系中再增加一組新任務，而在于它推動了視覺推理評測對象的轉變。過去的多模態研究，更多關注模型是否能夠“看懂圖像、對齊文本、給出解釋”；但這類能力并不等同于真正的視覺規劃。對于迷宮求解、約束滿足、空間決策這類問題，關鍵不在于模型能否把圖像內容描述出來，而在于它能否直接在圖像空間中形成解法。EAR正是將這一問題明確地提出，并將評測重點從多模態理解推進到原生視覺規劃。它用抽象任務剝離了復雜感知因素的干擾，使視覺規劃第一次能夠作為一種相對獨立的能力被系統檢驗。Maze 和 Queen 分別對應局部約束下的連續規劃與全局約束下的組合規劃，而 Coverage、Violation、Pass 以及 MSE 等自動指標，則進一步把視覺規劃中原本模糊、主觀的部分轉化為可量化、可比較、可擴展的實驗對象。

更重要的是，當前圖像編輯模型已經展現出一定的視覺規劃潛力，尤其是在監督微調后，能夠表現出非平凡的跨尺度、跨幾何泛化；但與此同時，這種能力依然高度脆弱，在零樣本設置、強全局約束任務以及與人類效率對比中，都暴露出明顯差距。這說明，視覺規劃并不是現有生成能力的自然延伸，而是需要專門建模、專門訓練、專門評測的一類核心能力。

因此，未來我們不僅要關注模型是否能生成更逼真的圖像、說出更流暢的解釋，還要進一步追問，它是否能夠在圖像空間中完成規劃、維持約束、形成推理。

09

作者

周芷穆，作為論文第一作者，就讀于北京郵電大學物聯網工程專業本科。其主要研究方向為空間智能、多模態模型和強化學習，圍繞空間智能、VLA 決策優化與復雜長程規劃等方向在ICLR/AAAI等CCF會議發表多篇論文。現與趙波老師合作，將于2026年9月攻讀上海交通大學博士學位。

——本篇文章論文作者擁有所有權，轉載請聯系論文作者

未經「AI科技評論」授權，嚴禁以任何方式在網頁、論壇、社區進行轉載！

公眾號轉載請先在「AI科技評論」后臺留言取得授權，轉載時需標注來源并插入本公眾號名片。