哈工大聯手鵬城實驗室:讓AI"自我糾錯"，視覺幻覺減少一半的武器

這篇論文來自哈爾濱工業大學與鵬城實驗室的聯合研究團隊，于2026年4月發表在arXiv預印本平臺，論文編號為arXiv:2604.17982v1，有興趣深入了解的讀者可通過該編號查詢完整論文。

你有沒有用過那種能識別圖片內容的AI助手？你給它看一張照片，讓它描述里面有什么，結果它一本正經地告訴你圖里有只貓，可實際上那根本就是一只狗?；蛘吒⒚畹那闆r——它確實認出了一條街道，卻硬說旁邊有一輛根本不存在的紅色汽車。這種現象在人工智能圈子里有個專門名稱，叫做"視覺幻覺"，意思是AI模型"看到"了實際不存在的東西，或者"沒看到"明明存在的東西，然后把這些錯誤信息混進自己的回答里，說得還煞有介事。

這不是小問題。當我們把這類AI用在醫療影像分析、自動駕駛場景描述或者法庭證據輔助判斷等場合時，一個"幻覺錯誤"可能帶來真實的麻煩。正因如此，如何讓AI的"眼睛"更誠實，一直是學界的熱門難題。

哈爾濱工業大學與鵬城實驗室的研究團隊，針對這個難題提出了一套全新的解決方案，名叫PSRD，中文可以理解為"基于階段性自我獎勵的解碼方法"。他們宣稱，這套方法能把主流視覺語言模型LLaVA-1.5-7B的幻覺率直接壓低50%，而且不需要給AI重新訓練、不需要額外標注大量數據，只需要在AI"說話"的過程中實時監控和糾正即可。接下來，這篇文章會帶你完整走過這項研究的每一個環節。

一、AI為什么會"看見"不存在的東西

要理解這項研究的價值，得先搞清楚視覺幻覺到底是怎么發生的。

大型視覺語言模型，可以粗略理解為一個同時具備"看圖能力"和"說話能力"的AI系統。它先通過視覺模塊把圖片轉換成一串數字表示，再把這些數字和你提出的問題一起喂給語言模型，讓語言模型生成回答。問題就出在語言模型這一側——語言模型本質上是一個"接龍高手"，它被訓練成總是預測下一個最可能出現的詞。當它生成一段圖片描述時，它的注意力會逐漸從圖片本身轉移到"這句話該怎么說得順暢"上。換句話說，AI的語言習慣有時候會蓋過視覺事實，它會說出"聽起來合理"但實際上并不存在于圖片中的內容。

現有的解決方案大體分兩類。一類是"事后修改派"：讓AI先生成完整的回答，再用另一個程序檢查有沒有錯誤，發現問題就回去改。這就好比你寫完一篇作文，再交給老師批改，效率不高，而且有時候修改本身也會引入新錯誤。另一類是"實時干預派"：在AI生成每一個詞的時候都插手，注入一些對比信號來壓制幻覺傾向。這種方法每一步都要額外計算，計算量巨大，而且對所有位置一視同仁地干預，往往是在沒問題的地方也瞎折騰，浪費資源不說，有時候還會破壞語言流暢性。

更關鍵的是，這兩類方法都有一個共同的盲點：它們都沒有認真研究過"幻覺到底在什么時候最容易冒出來"。哈工大與鵬城實驗室的研究團隊決定先把這個問題搞清楚，再設計解決方案。

二、幻覺的"節奏"：它總在同一個時刻爆發

研究團隊做了一個很有意思的基礎實驗。他們從COCO2014數據集里隨機抽取500張圖片，讓LLaVA-1.5-7B為每張圖片生成描述文字，然后仔細分析幻覺在整段描述里是如何分布的。

他們把生成的描述文字切分成一段一段，每一段稱為一個"語義階段"，大致對應描述中的一個完整短語或子句。然后他們統計每個階段的幻覺發生率。

結果非常清晰：幻覺率在整體上隨著階段推進而緩慢上升，從第一個階段的14.6%逐漸爬升到第九、第十個階段的17%左右，說明越往后生成，AI越容易出錯，前面的錯誤在一定程度上會帶著后面繼續犯錯，產生"幻覺傳播"效應。但更重要的發現不在這里——在每一個語義階段的內部，幻覺率在段落開頭時最高，隨后明顯下降，到段落末尾時已經相對穩定。

換個說法來理解這個現象：AI在描述圖片時，就像一個人在背誦一篇文章，每次開始一個新的話題段落，他最容易卡殼或者說錯，因為他要同時完成兩件事——既要開始一個新話題，又要回憶圖片里到底有什么相關內容。等他說進狀態了，話就順多了，錯誤也少多了。

這個發現讓研究團隊意識到：如果要干預幻覺，不需要在每個詞上都下功夫，只需要精確狙擊每個語義階段的開頭就夠了。這就是PSRD整個框架的核心直覺來源。

三、輕量級"裁判"的誕生：把大模型的判斷力裝進小瓶子

找到了幻覺爆發的規律，下一步就是設計一個能在關鍵時刻自動鑒別和糾正幻覺的工具。

最直接的想法是讓AI自己評判自己：每當生成一段話，就問問大模型"這段話描述的是真實的嗎"，然后根據回答決定要不要重新生成。這個思路是可行的，但有個致命問題——大模型本身體積龐大，讓它反復評判自己會讓整個生成過程慢得像蝸牛，完全不實用。

研究團隊的解法是：用大模型的判斷能力去訓練一個小得多的"裁判模型"，然后在實際使用時只調用這個小裁判，而不是每次都麻煩大模型。整個過程分幾步走。

第一步是"制造各種錯誤樣本"。要訓練一個能識別幻覺的裁判，首先得有足夠多的幻覺例子。研究團隊采用了兩種方式來刻意誘導AI生成幻覺：一種是給AI看被高斯噪聲污染的模糊圖片，視覺信號被干擾后AI更容易腦補不存在的內容；另一種是設計特殊的提示詞，引導AI在描述真實內容之后繼續"合理推斷"可能存在但實際上并不在圖里的東西。通過這兩種方式，研究團隊收集到了大量含有各種幻覺的描述文本，形成訓練樣本庫，其中包含約40萬條正確描述和4萬條含幻覺描述。

第二步是"讓大模型給樣本打標簽"。對于收集到的每一段描述文字，研究團隊把它和對應的原始圖片一起輸入大模型，然后問大模型："這段話里說的內容和圖片吻合嗎？"大模型不僅給出"是"或"否"的判斷，還會輸出一個置信度分數，表示它對自己判斷的把握程度。這個置信度分數就是所謂的"不確定性信號"——如果大模型對某條樣本的判斷非常確定，這條樣本就更值得信賴；如果大模型自己也很模糊，這條樣本的參考價值就相對低。在后續訓練中，高置信度樣本會獲得更高的權重，低置信度樣本的影響則被相應削弱。

第三步是"訓練小裁判"。小裁判模型以CLIP為基礎骨架構建，CLIP是一個擅長判斷圖文匹配程度的模型，本身比大語言模型輕量得多。研究團隊在CLIP的基礎上，用前面獲得的標注樣本和置信度權重，通過三個互相配合的訓練目標來打磨這個小裁判。

第一個訓練目標叫"判別對齊損失"，核心是讓小裁判能夠區分"圖文一致的描述"和"含幻覺的描述"，用正確描述與圖片的匹配分數應該明顯高于幻覺描述的方式來訓練。第二個訓練目標叫"邊界強化損失"，要求正確描述的匹配分數和幻覺描述的匹配分數之間必須存在一個明顯的間隔，就像兩個班級的考試成績不能太接近，否則就說明分辨能力還不夠強。第三個訓練目標叫"幻覺一致性損失"，要求針對同一張圖片生成的不同幻覺描述，在特征空間里應該聚集在一起，而不是散亂分布——這樣訓練出來的裁判對幻覺的識別更加穩定，不會因為幻覺的具體表達方式不同就給出截然不同的判斷。

這三個目標被加權組合，權重分別設定為1.0、2.4和0.1，這個比例選取的原因不是針對某個特定測試集微調出來的，而是為了讓三項損失在訓練早期的數值量級大致相當，避免任何一個目標壓制其他兩個，從而保證訓練過程的均衡性。

四、上場執裁：小裁判怎么在AI"說話"時糾錯

小裁判訓練好之后，就可以在AI生成圖片描述的過程中實時工作了。具體來說，每當AI完成一個語義階段的生成，小裁判就介入評分——它把這段剛生成的文字與原始圖片對比，給出一個"圖文一致性分數"，可以粗略理解為"這段話有多真實"。

如果分數高于預先設定的門檻值，說明這段話沒問題，AI繼續往下生成下一個階段。如果分數低于門檻值，說明這個階段的開頭可能存在幻覺，系統就需要干預了。

干預的方式是一套叫做"偵查-投影"的兩階段搜索策略。在偵查階段，系統不是非要完全重新生成這段話，而是先考察幾個備選的"起步詞"——具體來說，它會檢查當前時刻概率最高的前K個候選詞（默認K=5），對每個候選詞在不施加額外干預的情況下生成一段話，然后用小裁判評分，選出初始分數最高的那個候選詞作為"種子軌跡"。如果這個最優種子詞對應的描述已經通過了質量門檻，整個干預就結束了，代價很小。

如果連最優種子詞也沒能通過門檻，就進入投影階段。投影階段的做法是引入一種叫做VCD的對比解碼技術作為干預工具，這種技術通過同時生成"有視覺信息"和"沒有視覺信息"兩個版本的預測，用兩者的差異來壓制那些不依賴視覺的語言慣性。干預的強度用一個參數α來控制，α越大，干預越激進。系統會先用一個小步長探測α增大時分數的變化趨勢，估算出一個斜率，再根據這個斜率預測下一步α應該取多大才能讓分數越過門檻，然后真的去驗證。這個過程只需要少量幾次嘗試就能找到合適的干預強度，而且系統會給預測值額外加上10%的余量，因為獎勵函數的局部曲率往往是凹的，簡單的線性外推容易低估所需的調整量。如果斜率變得不穩定或者α已經超出了最大值上限，系統就放棄當前候選詞，換下一個種子候選詞重試，最終以最佳結果收尾。

整個搜索過程對小裁判的調用次數嚴格有限，不會讓干預本身的計算成本失控。

五、實驗戰場：PSRD在五大測試中的表現

研究團隊在五個公認的幻覺評測基準上對PSRD進行了全面檢驗，對比對象包括從普通基線模型到最先進的同類方法，橫跨"需要重新訓練模型"和"不需要重新訓練模型"兩大陣營。

在生成型幻覺測試中，最具代表性的是Object HalBench基準，這個測試讓模型描述圖片內容，然后檢查描述中有多少物體是圖片里根本沒有的。在這個測試上，PSRD表現極為亮眼：CHAIRs指標（描述中至少含一個幻覺物體的比例）從LLaVA-1.5-7B基線的46.3%直接砍到了10.1%，CHAIRi指標（所有提及物體中幻覺物體的比例）從22.6%降到4.1%——這兩個數字甚至超過了許多需要大量人工標注數據來重新訓練模型的方法。此前最好的無需重新訓練的方法Octopus拿到的是20.8%和6.6%，PSRD的10.1%和4.1%把這個紀錄大幅改寫。

在AMBER這個綜合評測基準上，PSRD把LLaVA-1.5-7B的CHAIR分數從7.8壓低到了3.9，降幅正好50%。幻覺相關的Hal分數從36.4下降到20.1，認知幻覺（Cog）分數從4.2降到2.0，而反映模型能正確識別多少真實物體的Cover分數也保持在48.2，沒有因為過度糾錯而把真實內容也誤殺掉。

在MMHal-Bench測試上，該測試通過GPT-4打分來評估生成回答的整體質量，PSRD的綜合得分從基線的1.55提升到2.92，幻覺比例從0.76下降到0.49，在所有無需重新訓練的方法中排名第一。

判別型測試則考驗AI面對一張圖片和一個關于圖片內容的問題時，能否正確回答"是"或"否"。在POPE這個判別測試的全套子測試上，PSRD把LLaVA-1.5-7B的F1分數提升到86.0，超過此前最好的Octopus方法的83.4。在AMBER判別任務上，F1分數從基線的71.1躍升到85.0，提升了整整13.9個百分點。

研究團隊還專門驗證了PSRD在不同模型上的泛化能力。他們把為LLaVA-1.5-7B訓練的小裁判模型直接用在InstructBLIP-7B和LLaVA-Next-7B上，結果同樣顯著改善。對InstructBLIP-7B，CHAIR分數從8.4降至4.4，Hal分數從31.1降至20.9；對LLaVA-Next-7B，CHAIR分數從7.1降至4.7，Hal分數從37.6驟降至21.1；對更大的LLaVA-1.5-13B，CHAIR從6.7降至4.7，Hal從28.8降至24.1?？缒Ｐ椭苯油ㄓ枚Ч€這么好，這說明小裁判學到的判斷能力并不只對它被訓練的那個特定模型有效，而是反映了視覺幻覺的某種普遍特征。

六、幻覺傳播：PSRD如何切斷錯誤的"多米諾骨牌"

研究團隊還設計了一個特別的分析實驗，用來量化PSRD在阻止幻覺"滾雪球"方面的效果。

他們定義了一個指標叫"階段級幻覺積累速率"，計算方法是統計相鄰兩個語義階段之間幻覺率增長的平均值。這個指標越高，說明前面的幻覺越容易帶動后面繼續犯錯，錯誤像推倒的多米諾骨牌一樣一路傳下去；這個指標越低，說明模型的幻覺分布越穩定，不會越說越跑偏。

LLaVA-1.5-7B基線模型的積累速率是0.35%，M3ID（一種優秀的動態干預方法）的積累速率是0.40%，而PSRD的積累速率僅為0.07%——大約是基線模型的五分之一，比M3ID還低了將近六倍。這意味著PSRD不僅直接減少了當前這個階段的幻覺，更有效地阻止了幻覺從一個階段傳染到下一個階段，從根源上切斷了"一個錯誤帶出更多錯誤"的連鎖反應。

七、效率的算盤：快與準之間怎么平衡

任何實用的AI技術都繞不開效率問題。PSRD在糾錯時需要調用小裁判并可能進行多次嘗試，這必然比直接一口氣生成答案要慢。研究團隊對此做了坦誠的分析。

他們發現，通過調整接受門檻τ，可以在糾錯力度和速度之間靈活權衡。當τ設定為30%時，PSRD相比LLaVA-1.5-7B直接運行M3ID能多減少67.2%的幻覺，但推理時間大約是M3ID的4倍。當τ設定得更寬松時，系統干預的頻率降低，速度更快，但幻覺壓制效果也相應減弱。這個旋鈕是連續可調的，用戶可以根據自己對精度和速度的不同需求自由設置，不存在一刀切的局限。

研究團隊還用ChatGPT-4o-mini作為評判者，對PSRD和M3ID各自生成的500段圖片描述進行流暢度比較。結果顯示，PSRD的描述在48.5%的情況下被認為比M3ID更流暢，M3ID在37.5%的情況下更好，另外14%被認為不相上下。由此可見，PSRD在壓制幻覺的同時，并沒有讓生成的語言變得別扭或破碎。

此外，小裁判模型本身在獨立的幻覺分類測試上也表現良好。在AMBER HalDet數據集上，它的準確率達到80.5%，F1分數88.7%，超越了OpenCLIP基線的75%準確率和84.7%F1；在MHal-detect數據集上，準確率72%，F1分數81.7%，也優于對比基線。這進一步確認了小裁判所學到的判斷能力是真實可靠的，而非依賴某種偶然的捷徑。

歸根結底，PSRD這項研究的核心貢獻在于把一個看似復雜的問題拆解成了兩件可以分開解決的事：先弄清楚幻覺在什么時候發生（答案是每個語義階段的開頭），再用一個低成本的工具在那個時刻精準出手（答案是用大模型訓練一個小裁判，實時監控和糾正）。兩件事各自都不難，但組合在一起，效果卻超過了許多復雜得多的同類方法。

這項研究對普通人生活的影響不是今天就能感受到的，但它推動的方向很清晰：讓AI工具在描述、理解和回答關于圖片的問題時更加可信賴。醫生用AI輔助閱片、警察用AI輔助查閱監控、孩子用AI輔助學習認識世界——這些場景里，AI少說一個謊，就多了一份安全感。

有興趣深入探索這項研究的讀者，可以在arXiv平臺上通過論文編號2604.17982查閱完整內容，論文包含了完整的算法偽代碼、詳細的實驗設置和豐富的消融分析，技術細節相當充分。如果你曾經被AI描述圖片時的奇怪錯誤困擾過，這篇論文也許能讓你對未來的AI工具多一些期待。

Q&A

Q1：視覺幻覺在AI生成描述時為什么總在段落開頭最嚴重？

A：根據PSRD的研究發現，AI在開始描述一個新的語義段落時，需要同時完成"開啟新話題"和"回憶圖片內容"兩件事，這個雙重任務讓模型更容易脫離視覺事實，說出聽起來合理但實際不存在的內容。等進入描述狀態后，語境已經建立，后續詞語受前文約束更穩定，幻覺率隨之下降。這種"段落開頭最危險"的規律，正是PSRD精準干預時機選擇的核心依據。

Q2：PSRD訓練的小裁判模型能直接用在其他AI模型上嗎？

A：可以。研究團隊驗證了用LLaVA-1.5-7B訓練的小裁判模型，直接應用于InstructBLIP-7B和LLaVA-Next-7B時，幻覺率同樣顯著下降。這說明小裁判學到的判斷能力反映了視覺幻覺的普遍特征，不局限于特定模型，具備跨模型的泛化能力。

Q3：PSRD和現有的幻覺糾正方法相比速度上差距有多大？

A：當接受門檻τ設為30%時，PSRD的推理時間大約是M3ID方法的4倍，但幻覺減少量比M3ID多出67.2%。研究團隊設計了可調節的門檻參數，用戶可以根據對速度和精度的不同需求自由調整，在快速運行和高精度糾錯之間靈活平衡，不是一個固定的速度比較關系。