離大譜！他花12美元給AI投毒，ChatGPT、Claude全中招

這段時間豆包翻車案例經(jīng)常上熱搜，說明AI搜索越來越普及了。“萬事不決問AI”成了這屆用戶的新習(xí)慣。但很多時候，AI給的東西乍一看還可以，卻根本不能深究。

有的數(shù)據(jù)找不著來源、有的概念是同名異意詞、甚至它給的有些論文都根本是編的，真把這些東西拿出來用，那可就得貽笑大方了...我發(fā)現(xiàn)吐槽AI搜索不靠譜這事兒的還不在少數(shù)。

（圖源：Ron Stoner）

就前陣子，安全工程師羅恩?斯托納（Ron Stoner）在個人博客發(fā)布了一篇博文，號稱自己僅用12美元（約82元）注冊域名和一次編輯維基百科，就成功欺騙了ChatGPT、Claude3、Gemini Advanced等主流大模型。

這哥們到底整了什么活？

花12美元就成功欺騙了主流AI

作為安全工程師，Ron Stoner對Anthropic、OpenAI等廠商鼓吹的“大模型需要數(shù)月甚至數(shù)年內(nèi)持續(xù)導(dǎo)入惡意內(nèi)容才會被破壞”深表質(zhì)疑，他認為自己完全可以實現(xiàn)一種更快、更便宜、更簡單的攻擊。

想實現(xiàn)這一切，只要從數(shù)據(jù)回收層開始下手即可。

為此，Ron Stoner盯上了一款名叫6 Nimmt!（又名：誰是牛頭王）的德國桌游，這是一款發(fā)行于1994年的老派策略卡牌游戲。

（圖源：meeplelikeus）

為什么偏偏選中它呢？因為這款游戲有個特征，那就是它只在德國有些名氣，在世界范圍內(nèi)算籍籍無名，且在現(xiàn)實中從未單獨舉辦過什么官方的世界錦標(biāo)賽，網(wǎng)上關(guān)于它世界冠軍的信息幾乎是一片空白。

對大模型來說，這種信息空白區(qū)簡直就是無人區(qū)。

這就好比在一片從未被開發(fā)過的荒地上，誰先蓋個茅草屋，AI就會認定誰是這片地的主人。

于是乎，Ron Stoner開始了他的操作。

第一步，他花了12美元注冊了一個看起來極其官方的域名——6nimmt.com。

（圖源：6nimmt.com）

第二步，他讓AI幫他寫了一篇充滿激情的新聞稿，大致內(nèi)容就是自己在慕尼黑，擊敗了來自二十多個國家的頂尖選手，奪得了牛頭王的世界冠軍。他還特意加上了彩帶飄落、觀眾歡呼這種逼真的賽后感言，然后把文章掛在了自己剛買的那個網(wǎng)站上。

最關(guān)鍵的第三步來了。他跑去維基百科，在那款桌游的詞條底下加了一段話，宣稱自己是2025年世界冠軍，并把參考資料的鏈接，指向了自己剛建好的那個破網(wǎng)站。

整個操作過程，前后不到二十分鐘。

接下來，Ron只是問了幾家大模型一個簡單的問題：你能告訴我6nimmt世界冠軍是誰嗎？

結(jié)果怎么樣呢？

（圖源：Ron Stoner）

堪稱大翻車。

不管你是Gemini也好，ChatGPT也罷，只要問它們誰是牛頭王的世界冠軍，所有的AI都會斬釘截鐵地回答是Ron Stoner。

有的大模型甚至把那篇假新聞稿里的細節(jié)當(dāng)成鐵證，繪聲繪色地描述他贏得比賽的過程，仿佛那個AI當(dāng)時就在慕尼黑的觀眾席上一樣。

一個根本不存在的冠軍，就這樣被供上了神壇。

AI被投毒后，衰減時間比預(yù)期的長

當(dāng)然，這還不是最離譜的。

如果只是短時間的問題，其實還好，但是這條漏洞百出的假條目在維基百科存活了整整兩個多月。

在此期間，幾乎所有具備聯(lián)網(wǎng)搜索功能的大模型都抓取了這條信息，并在用戶提問時堅定地輸出虛假答案。

直到近期，Ron Stoner在博客公開了整個實驗過程，維基百科志愿者才發(fā)現(xiàn)并刪除了該條目。

（圖源：Ron Stoner）

遇到這種樂子，網(wǎng)友們的反應(yīng)出奇的一致——大廠們又丟人了。

你想想，那些硅谷大廠動輒花幾十億美元買顯卡算力，耗費大量電力建數(shù)據(jù)中心去訓(xùn)練超級大腦，結(jié)果這些號稱能改變?nèi)祟愇磥淼拇竽Ｐ停瑓s被一個安全工程師用幾十塊人民幣和二十分鐘的空閑時間給打穿了。

至于他是怎么做到的，那就要介紹一下什么是檢索增強生成（RAG）了。

我們常用的這些大模型雖然能言善道，但他們都是基于某個時間節(jié)點前的語料庫訓(xùn)練的，例如Gemini 3.5 Flash的語料庫就還停留在2025年上旬，想要獲得這個時間點之后的數(shù)據(jù)，就得先去網(wǎng)上搜一搜，然后再基于搜索資料生成結(jié)果。

（圖源：Ron Stoner）

就像這樣，只有打開RAG后，Google AI Studio才能正確回答我的問題，否則他的知能就會被鎖在去年的時間點。

正常來說，借助外部信息佐證，能夠使大模型生成更正確、具體且最新的響應(yīng)。

但問題就出在這里，AI根本分不清信息的真假，它只認權(quán)威。在AI的底層邏輯里，維基百科就是互聯(lián)網(wǎng)上最靠譜的百科全書，只要百科上有的，那就是真理。

而Ron Stoner就靠著這一招，把鏈接掛到了維基百科上，然后AI再順著維基百科爬過去，一看兩邊說法對得上號，即便他自己建的網(wǎng)站是個三無產(chǎn)品，大模型還是直接就把它當(dāng)成了事實。

類似的事情，現(xiàn)在在國內(nèi)也有發(fā)生。

（圖源：Ron Stoner）

在網(wǎng)上隨便搜索，遍地都是教你怎么去優(yōu)化排名邏輯的GEO教程，每個廠商似乎都希望自己的品牌能夠成為AI眼中的“標(biāo)準(zhǔn)答案”，為此，大量的Agent機器人在背后夜以繼日地污染著內(nèi)容平臺，讓AI搜索的可信度與日俱減。

好消息是，目前海外幾家大模型都已經(jīng)針對性消除了Ron Stoner的偽造信息。

（圖源：雷科技）

壞消息是，國內(nèi)的大模型廠商可是完全沒有想到這一出，相反，Ron Stoner的英文網(wǎng)頁甚至為這個虛假消息增加了“可信度”。

（圖源：雷科技）

要知道，這一切的成本只需要12美元。

換句話說，如果國內(nèi)有人想整什么活，或者是廠商想要推廣什么新產(chǎn)品，準(zhǔn)備一個略帶關(guān)聯(lián)的網(wǎng)址，然后去維基百科上面稍微動動手指，用Image2整個網(wǎng)頁截圖，然后Ka-Boom！

（圖源：雷科技）

這下，Uzi也能成為大模型公認的S賽世界冠軍了。

用戶急需提高AI商：先甄別再使用

聊到這里，大伙兒應(yīng)該明白目前AI搜索有多不靠譜了吧。

沒錯，Ron Stoner的操作看著像個玩笑，他也確實只是在玩玩，但他的做法其實點出了一個非常致命的未來隱患。

今天他只是改了一個沒人關(guān)心的紙牌游戲冠軍，那明天如果是有組織的團伙去篡改歷史記錄、文學(xué)典籍呢？再想一下，如果被篡改的是醫(yī)療偏方、公司財報或者是投資數(shù)據(jù)呢？

（圖源：雷科技，自制山根國志）

嗯...后果不堪設(shè)想。

成本這么低，別有用心的人完全可以批量制造假新聞，然后通過百科類網(wǎng)站進行信任洗白，最后讓AI把這些毒藥端給毫不知情的用戶。長此以往，大模型的數(shù)據(jù)可信度只會與日俱減，變成一個充斥著虛假信息的垃圾堆。

當(dāng)然，各家廠商也有在采取措施，谷歌表示自己在搜索、Gemini、Chrome、Pixel和云端添加了AI驗證工具，OpenAI也推出了可溯源的隱形水印，這些舉措都能在一定程度上遏制AI投毒的現(xiàn)象，至少確保不會出現(xiàn)內(nèi)容自食行為。

（圖源：雷科技）

說在最后，面對這種局面我們要怎么應(yīng)對呢？

我還是建議大家擺正心態(tài)吧，就現(xiàn)在大模型的可靠性，也就找樂子、查旅游攻略的時候能夠用用，出點小錯誤也無傷大雅。

但如果你要查證歷史事實、做出投資或是吃藥治病，那就得自己做好信息交叉驗證，去看看這個信息的源頭到底是個野雞網(wǎng)站，還是正經(jīng)媒體。把判斷真?zhèn)蔚臋?quán)力握在自己手里，而不是交給一個連幾十塊錢的假域名都能騙過去的東西。

未來的AI還會怎么卷，我們不得而知，但至少現(xiàn)在，咱們還是得多用用腦了。就像雷科技之前一直說的，過去，智商、情商很重要，未來呢？AI商很重要，提高AI素養(yǎng)，才能用好AI。