斯坦福等高校聯手破解AI作圖難題

這項由斯坦福大學、清華大學、賓夕法尼亞大學及亞馬遜前沿AI研究院聯合開展的研究，于2026年4月25日以預印本形式發布，論文編號為arXiv:2604.23380，感興趣的讀者可通過該編號檢索完整原文。

**一張AI生成的圖，背后有多少"調教"的故事**

你或許用過那些能根據文字描述生成精美圖片的AI工具——輸入"一只穿宇航服的貓坐在月球上"，幾秒鐘后一幅高清畫面就出現了。這類工具背后，有一類叫做"擴散模型"的技術在默默運作。這種技術的工作方式，有點像是把一張布滿噪點的模糊圖像，一點一點地"去噪"，最終還原成清晰漂亮的畫面。

然而，AI生成的圖片并不總是令人滿意。有時候它畫出的馬多了一條腿，有時候文字渲染得一塌糊涂，有時候生成的場景根本和你描述的對不上號。正因如此，研究人員一直在探索如何在模型訓練完成之后，再對它進行一輪"精調"——讓它更符合人類的審美偏好，或者更準確地理解指令。這個過程，在技術上被稱為"強化學習后訓練"。

強化學習，可以用一個簡單的比喻來理解：你在教一只小狗學新技能。每當它做對了，你就給它一塊餅干作為獎勵；做錯了，你就不給。慢慢地，小狗就學會了你想要它做的事情。對于AI圖像生成模型來說，"獎勵"可以是人類覺得圖片好看與否的評分，或者圖片中的文字是否識別正確，等等。

然而，把強化學習用在擴散模型上，一直是一件讓研究者頭疼的事情。這就是這項研究要解決的核心問題。

**一、擴散模型的"概率難題"：為什么強化學習很難直接套用**

要理解這個困難，得先明白強化學習中一個關鍵的概念：政策梯度方法。這類方法的核心思想，是計算模型當前生成某個結果的"概率"，然后根據這個概率和獎勵信號，來決定應該朝哪個方向調整模型參數。就像導航軟件一樣，它需要知道你現在在哪里（當前概率），才能告訴你該往哪里走（梯度更新方向）。

問題在于，擴散模型生成一張圖片，并不是一步完成的，而是經過幾十甚至上百步的去噪過程。要精確計算"模型生成某張具體圖片的概率"，理論上需要對所有這些步驟的概率做一個復雜的積分運算——而這個計算在數學上幾乎無法處理，被稱為"難以追蹤的似然函數"。

面對這個難題，過去的研究走出了兩條截然不同的路。

第一條路是把整個生成過程建模為一個"馬爾可夫決策過程"，簡稱MDP。通俗地說，就是把圖像生成拆解成一連串小步驟，每一步都是一個"狀態-動作"對，每一步的概率都是可以精確計算的高斯分布。這樣一來，就可以把所有步驟的概率乘起來，得到整個軌跡的概率，進而使用標準的強化學習方法。DanceGRPO、BranchGRPO、MixGRPO等方法都屬于這一類。

這條路在理論上很嚴謹，但實踐中有三個明顯的短板。其一，由于需要對每一步都做優化，訓練收斂很慢，效率低下。其二，這種方式要求采樣過程必須是"一階隨機微分方程"的離散化形式，也就是說只能用某些特定的采樣器，無法使用效率更高的高階求解器。其三，優化和采樣被緊密捆綁在一起，實現起來靈活性很差，導致方法越來越復雜、超參數越來越多。MixGRPO為了提升效率，引入了混合ODE-SDE采樣和滑動窗口調度；BranchGRPO則把采樣過程改造成樹狀分支結構。這些改進確實有效，但代價是大幅增加了算法的復雜度。

第二條路則簡潔得多：直接用擴散模型訓練時的損失函數，作為"模型概率"的近似替代，也就是所謂的"ELBO近似"。ELBO是"證據下界"的縮寫，可以理解為模型真實概率的一個下界估計——雖然不是精確值，但方向是對的。這種做法跟模型預訓練的目標高度一致，實現起來也非常自然。

然而，之前的研究（包括DDPO和FPO）表明，這種ELBO近似方法在圖像生成任務上表現不佳，訓練不穩定，效果遠不如MDP方法。于是它漸漸被主流研究忽視，淪為"看上去可行但實際不好用"的角色。

這項研究的核心主張是：這個結論是錯誤的。ELBO近似方法之所以表現差，不是因為它本身有根本性缺陷，而是因為過去的實現方式存在一個關鍵問題——方差過大，導致訓練信號被噪聲淹沒。只要解決這個問題，ELBO方法不僅可以穩定運行，還能超越復雜的MDP方法。

**二、"噪聲淹沒信號"：為什么ELBO近似會失穩**

為了理解這個問題，可以用一個稱重的比喻。你想知道兩個蘋果哪個更重，于是用一桿秤來稱量。如果這桿秤本身的誤差非常小，你稱出的結果基本是準確的，可以放心比較。但如果秤的誤差很大，今天量同一個蘋果是100克，明天量又是120克，那兩個蘋果之間10克的差異就完全淹沒在誤差里了，你根本無法判斷哪個更重。

在強化學習中，"重要性比率"是一個關鍵量，它反映當前模型和舊版模型在生成同一張圖片時的概率比值，用來衡量模型更新的幅度。而這個比率，需要通過ELBO近似來估算。如果ELBO估算本身的方差很大，那算出來的重要性比率就會極不穩定——有時高估，有時低估——最終導致梯度更新方向混亂，訓練崩潰。

研究團隊通過實驗發現，ELBO方差大的根本原因，在于擴散過程中不同時間步的損失值差異懸殊。具體來說，在噪聲比較多的時間步（接近純噪聲），模型的預測損失通常很大；而在噪聲較少的時間步（接近最終圖像），損失相對較小。這種差異導致每次隨機采樣幾個時間步來估算ELBO時，估算結果會隨采樣點的不同而劇烈波動。

更糟糕的是，他們還發現梯度的大小與ELBO估算值的大小直接相關——ELBO估算越不穩定，梯度也越不穩定。這形成了一個惡性循環：不穩定的估算產生噪聲梯度，噪聲梯度無法準確傳遞獎勵信號，訓練自然就陷入混亂。

**三、三把"減震器"：如何降低ELBO的方差**

針對上述問題，研究團隊設計了三種技術來降低ELBO估算的方差，每一種都對應一個具體的誤差來源。

第一種技術叫做"組內共享時間步-噪聲對"。在GRPO算法中，模型會對同一個文本提示生成一組圖片（比如12張），然后通過比較這組圖片的獎勵來計算"相對優勢"——也就是哪張圖比平均水平好，哪張比平均水平差。這種相對比較要有意義，前提是對所有圖片的評估尺度必須一致。

然而，如果每張圖片在估算ELBO時各自隨機采樣不同的時間步，就會出現這樣的情況：圖片A的ELBO是用噪聲較多的時間步估算的，整體數值偏大；圖片B的ELBO是用噪聲較少的時間步估算的，整體數值偏小。于是A看起來"概率更高"，B看起來"概率更低"，但這種差異完全是采樣隨機性造成的，和圖片本身的質量沒有任何關系。計算出來的相對優勢就失真了。

解決方案很直接：對同一個提示生成的所有圖片，強制使用完全相同的一組時間步和噪聲樣本來估算ELBO。這樣一來，所有圖片都站在同一把"秤"上被稱量，組內的相對比較就有了真正的意義。實驗結果顯示，這一措施將組內ELBO方差的變異系數從0.170大幅降低到了0.038，效果非常顯著。

第二種技術叫做"分層時間步采樣"。即便對同一批圖片使用共享的時間步，如果這些時間步是從整個噪聲范圍內隨機選取的，仍然可能存在采樣不均勻的問題——比如恰好抽到了很多高噪聲時間步，或者很多低噪聲時間步，導致估算偏差。

分層采樣的做法是：把整個時間范圍均勻劃分成若干個等長的區間，然后從每個區間里各取一個時間步。這就像是在統計選舉結果時，不是隨機找一些人問，而是確保每個地區都有代表——保證了采樣的均勻性和代表性，進一步降低了因采樣偏差引入的方差。

第三種技術叫做"自適應損失權重"。這一技術的靈感來自之前的工作。首先，它將模型的輸出重新參數化為"x預測"形式——也就是讓模型直接預測干凈圖像，而不是預測噪聲。這種參數化方式會隱式地給高噪聲時間步賦予更大的權重，與人類感知中"整體結構比細節更重要"的直覺相符，同時也有助于穩定訓練。

在此基礎上，還引入了一個自歸一化權重：每個樣本的損失，除以該樣本損失L1范數的均值（且這個均值不參與梯度計算）。這種歸一化的效果，類似于把不同單位的物理量統一換算到同一個量綱下——不管原始損失的絕對數值大小如何，經過歸一化后，不同樣本之間的梯度量級大致相當，模型參數的更新就不會因為某些損失值異常偏大而失控。

這三種技術疊加使用，將整體ELBO方差的變異系數從0.230降低到了0.128，同時也削弱了梯度大小對ELBO估算幅度的敏感性，用來衡量這種相關性的決定系數從0.406降低到0.328。更重要的是，在實際訓練中，這些改進讓模型從"嚴重不穩定"變成了"平穩收斂"。

**四、三個"剎車系統"：如何控制梯度更新的步子不要邁太大**

降低方差解決了"信號被噪聲淹沒"的問題，但穩定的在線強化學習還需要另一道保障：防止每次梯度更新的幅度過大，導致模型一步走偏。研究團隊總結了三種可以靈活搭配使用的梯度步控制技術，根據不同的訓練場景選擇最合適的組合。

第一種是"重要性比率截斷"，這是從PPO算法繼承而來的經典技巧。重要性比率反映了當前模型和舊模型在同一張圖片上的概率比值——如果比值太大，說明模型更新幅度過大，當前模型和舊模型差異懸殊，這時基于舊模型采樣數據來更新當前模型就不再可靠。截斷技術通過強制把比率限制在一個范圍內（比如0.994到1.006之間），防止單次更新走得太遠。在大多數標準訓練場景下，這一技術就足以保證訓練穩定。

第二種是"KL散度懲罰"。KL散度可以理解為當前模型和參考模型之間的"差異程度"。在訓練目標中加入KL懲罰項，就像給模型加了一根彈性繩——它可以往更好的方向走，但走太遠就會被彈回來。這對于保留模型在早期階段學會的能力特別有用，防止在某一任務上過度優化時把其他能力"遺忘"了。

為了避免額外維護一個參考模型的開銷，研究團隊采用了一個聰明的做法：用行為策略（也就是上一輪迭代的模型參數）來代替參考模型，只需要存儲一組損失數值，而不是一整套模型權重。此外，對于連續時間擴散模型，KL散度本身也有一個簡潔的解析表達式，可以直接用來計算。

實驗表明，在SD 3.5M的多階段訓練中，KL懲罰能夠有效保住前幾個階段學到的能力。比如，在專門針對文字識別任務訓練的最后一個階段，不加KL懲罰的模型在圖文對齊評分（GenEval）上從0.92跌到0.87，而加了KL懲罰的模型則維持在0.91。然而，KL懲罰無法抑制FLUX.1-dev訓練中出現的"損失尖峰"，在這種場景下，重要性比率截斷反而更為有效。

第三種是"優勢軟截斷"。在某些特殊場景下——比如每次迭代只做一次梯度更新（也就是完全在線的訓練方式），或者采樣步數很少的時候——上面兩種技術都失效了，因為當前模型和舊模型是同一個，重要性比率恒為1，截斷自然也沒有效果。

針對這種情況，研究團隊提出用雙曲正切函數對"優勢值"進行軟截斷。優勢值反映的是某張圖片的獎勵比組內平均水平高了多少或低了多少。直接使用原始優勢值，極端情況下某張圖片的優勢值可能非常大，導致梯度異常猛烈。軟截斷的方式通過雙曲正切函數，對小的優勢值幾乎不做修改（保留靈敏度），但對極端的優勢值則平滑地壓縮其幅度（避免失控）。實驗證明，這一技術在Stage-1的完全在線訓練中成功穩定了訓練曲線，在采樣步數從25減少到16時也起到了額外的保護作用。

不過，這三種技術并非在所有場景下都各有優勢。研究團隊特別指出，在專門針對GenEval這類"粗粒度"評分任務訓練時，優勢軟截斷的表現反而不如重要性比率截斷。這意味著在實踐中需要根據具體任務和訓練配置，有針對性地選擇合適的組合方案。

**五、整體算法與訓練流程**

把上述所有技術整合在一起，就構成了V-GRPO（Variational GRPO）的完整算法。它的工作流程可以用"三步走"來概括。

第一步是采樣階段：用當前模型（行為策略）對一批文本提示各生成一組圖片，同時為每個提示抽取一組共享的時間步-噪聲對。第二步是評估階段：用一個或多個獎勵函數給每張圖片打分，計算組內相對優勢，并用行為策略計算ELBO基準值。第三步是優化階段：對每個小批次數據，用當前模型重新計算ELBO，算出重要性比率，再結合截斷、KL懲罰等約束，更新模型參數。

特別值得一提的是，V-GRPO把采樣階段和優化階段解耦了——采樣時可以使用高階ODE求解器（DPM-Solver++，效率更高），優化時只需要重新跑幾步前向傳播來計算ELBO，完全不受采樣器形式的限制。這也正是MDP方法所無法做到的靈活性。

在數值精度方面，研究團隊采用了一個細心的混合精度策略：采樣階段用BF16混合精度（速度快），但ELBO計算、主權重和反向傳播全部用FP32（精度高）。這樣既保證了訓練速度，又避免了因精度不足導致的數值不穩定。

**六、實驗結果：快了幾倍，做到了什么**

研究團隊在兩個主流模型上驗證了V-GRPO的效果。

第一個是FLUX.1-dev，這是一個目前業界最頂尖的文圖生成模型之一，無需分類器引導即可生成高質量圖像。實驗在HPDv2數據集的提示上進行，同時使用HPSv2.1、PickScore、ImageReward、UnifiedReward四個不同維度的評分函數聯合優化。訓練300次迭代后，V-GRPO在所有四個指標上均排名第一，超過了BranchGRPO、MixGRPO等復雜方法。更關鍵的是，V-GRPO用150次迭代就達到了MixGRPO用300次迭代才能達到的效果，訓練速度快了2倍。在訓練開銷的另一個維度——每次迭代需要運行模型的次數上，V-GRPO用的是16步采樣加4步ELBO計算，總計約20次前向傳播，而MixGRPO需要25次采樣步。從定性的圖片對比來看，V-GRPO生成的圖片在構圖對齊、細節連貫性和整體風格上均優于其他方法，甚至在沒有使用任何文字渲染專項獎勵或數據集的情況下，自然地展現出了更強的文字渲染能力。

第二個實驗對象是Stable Diffusion 3.5 Medium（SD 3.5M），這是一個依賴流匹配技術的中等規模生成模型，通常需要分類器引導才能獲得高質量輸出。研究團隊沿用了DiffusionNFT提出的五階段課程式訓練方案，不同階段分別針對人類偏好、圖文對齊（GenEval）和文字識別（OCR）等不同目標輪流訓練，共運行580次梯度更新。結果顯示，V-GRPO以580步達到了DiffusionNFT用1700步才能達到的性能水平，訓練效率提升約3倍，同時每次迭代所需的前向傳播次數也大幅減少。值得注意的是，實驗同時驗證了一個有趣的副產品：在訓練過程中完全關閉分類器引導后，模型依然能生成高質量圖像——這說明在線強化學習訓練實際上隱式地完成了"引導蒸餾"，讓模型在不依賴額外引導的情況下，內化了原本需要引導才能實現的生成能力。

在單任務實驗中，V-GRPO也展現出競爭力。以OCR文字識別任務為例，僅需25次梯度更新（對比FlowGRPO的1000步和DiffusionNFT的150步），V-GRPO就達到了最高的0.98分。這種極高的樣本效率，在實際應用中意味著顯著的計算成本節省。

**七、消融實驗：每個零件都拆下來試試**

為了驗證各個技術的貢獻，研究團隊進行了細致的消融實驗，逐一去掉每個技術模塊來觀察效果變化。

在FLUX.1-dev的實驗中，完全去掉所有方差降低技術的基線，訓練曲線會出現劇烈震蕩，幾乎無法穩定收斂。單獨去掉"組內共享時間步"或"分層采樣"中的任意一個，訓練也會重新變得不穩定；去掉"自適應損失權重"則會導致最終性能略有下降，但不影響穩定性。這說明三種技術各有分工，缺一不可。

在SD 3.5M的實驗中，情況略有不同：即便去掉某一個單獨技術，訓練仍然能夠基本穩定，只是三者集合使用時效果最好。這表明SD 3.5M模型本身對ELBO訓練有更強的內在魯棒性，而FLUX.1-dev則需要更嚴格的方差控制。

關于ELBO估算中使用的時間步-噪聲對數量NMC，研究團隊發現存在一個"收益遞減"的飽和效應。NMC從4降低到2，訓練明顯變差無法收斂；從4增加到8，提升卻很有限。這與MDP方法中關于"優化時間步數量"的飽和現象高度吻合，說明這是一個跨方法范式的普遍規律。

關于預測參數化形式的選擇，實驗明確顯示：使用ε預測（預測噪聲）會導致嚴重的訓練崩潰；使用v預測（預測速度場）穩定但收斂略慢；使用x預測（直接預測干凈圖像）效果最好。這一結論與自適應損失權重的設計邏輯一致——x預測形式與歸一化權重的配合，能最有效地平衡不同時間步上的梯度貢獻。

說到底，這項研究做的事情，有點像是把一輛本來就有的老舊車輛認真檢修了一遍，換了更好的減震系統，改進了變速箱，最終發現它的速度和穩定性都超過了那些花大價錢打造的新型賽車。ELBO近似方法并不是一條死路，它只是需要正確的工程實現才能發揮潛力。

從普通用戶的視角來看，這項研究意味著：未來當你使用AI圖像生成工具時，它背后的訓練過程可能變得更快、更高效，需要的計算資源更少——這最終可能轉化為更低的使用成本和更快的迭代速度。與此同時，模型對你輸入的文字描述的理解和還原能力，也可能因為更高效的強化學習訓練而持續提升。

這項研究也留下了一些值得繼續探索的問題。比如，V-GRPO方法對不同規模的模型是否同樣有效？在視頻生成、3D生成等擴散模型的新興應用場景中，這套方案能否直接遷移？隨著獎勵函數本身的質量越來越高，ELBO方法的訓練效率優勢是否還會進一步放大？這些問題，或許會成為這個方向上下一批論文的研究焦點。

對這項研究感興趣的讀者，可以通過arXiv編號2604.23380找到完整論文，代碼已在GitHub公開發布（tang-bd/v-grpo），可以直接運行復現實驗結果。

Q&A

Q1：V-GRPO和MixGRPO、BranchGRPO相比，為什么訓練速度更快？

A：V-GRPO采用基于ELBO近似的方式來估算模型概率，不需要把整個采樣軌跡的每一步都參與優化。每次迭代只需用少量時間步-噪聲對重新計算ELBO，而不是把幾十步采樣全部跑一遍。相比MixGRPO需要25次完整采樣步，V-GRPO只需16步采樣加4步ELBO計算，總開銷更低，加上收斂速度更快，最終實現了約2倍的訓練效率提升。

Q2：ELBO近似方法以前為什么會失敗，V-GRPO是怎么修好的？

A：以前的ELBO近似失敗的根本原因是方差太大。不同時間步的損失值差異懸殊，隨機采樣導致ELBO估算極不穩定，使得計算出的"重要性比率"失真，梯度更新方向混亂。V-GRPO通過三項技術解決了這個問題：讓同一組生成圖片共享相同的時間步采樣、用分層采樣保證均勻覆蓋、以及用自適應權重歸一化不同樣本的損失幅度，三管齊下顯著降低了估算方差。

Q3：V-GRPO訓練之后的模型為什么可以不用分類器引導也能生成高質量圖片？

A：這是一個意外發現的副產品。分類器引導是一種在推理時增強生成質量的技巧，通常會增加計算開銷。在線強化學習訓練過程中，模型不斷根據獎勵信號調整生成行為，這個過程似乎隱式地讓模型內化了"引導"所提供的質量提升效果，使得模型在推理時無需顯式引導也能維持高質量輸出。這個現象在DiffusionNFT等研究中也有類似報告。