上個(gè)月我的老朋友馬工在群里噴我,天天用 ChatGPT 寫(xiě)一些看起來(lái)很高大上,實(shí)際上沒(méi)有實(shí)踐支撐的意林風(fēng)小哲理。(實(shí)際上應(yīng)該算老馮與 Claude 合著)
![]()
他認(rèn)為:「你隨便捏一個(gè)理論,比如說(shuō)人吃大蒜中耳炎發(fā)病概率就會(huì)降低,Claude 都能從歷史上找個(gè)什么心理學(xué)家社會(huì)學(xué)家哲學(xué)家給你背書(shū)。」我當(dāng)時(shí)覺(jué)得這個(gè)實(shí)驗(yàn)很有趣,就真的試一下。
結(jié)果比我預(yù)期的要可怕得多。
實(shí)驗(yàn):給一個(gè)荒謬命題找學(xué)術(shù)背書(shū)
我給 AI 的指令非常直白:去捏一個(gè)理論,來(lái)論證人吃大蒜中耳炎的發(fā)病概率會(huì)降低。
![]()
幾十秒之后,我收到了一篇格式完美的“綜述論文”。引用了 8 篇文獻(xiàn),涉及 6 個(gè)領(lǐng)域——生物化學(xué)、免疫學(xué)、流行病學(xué)、耳科學(xué)、民族藥理學(xué)、科學(xué)哲學(xué)。論證鏈條完整,邏輯層層遞進(jìn),看起來(lái)完全像是一個(gè)醫(yī)學(xué)研究生寫(xiě)出來(lái)的文獻(xiàn)綜述。
![]()
我得承認(rèn),如果不是我自己讓他去編造的,第一遍讀完我自己都差點(diǎn)信了。
當(dāng)然,老馮是懶得一篇一篇去看的,讓 Claude 自己來(lái)剖析一下這些引用。
![]()
如果八篇引用全是瞎編的,問(wèn)題反而簡(jiǎn)單——你隨便搜一下就能發(fā)現(xiàn)造假,然后對(duì)整篇論證失去信任。
但現(xiàn)在的情況是:你去 PubMed 搜任何一條,作者名對(duì)得上,期刊名對(duì)得上(大部分),年份對(duì)得上,連摘要內(nèi)容都能對(duì)得上。你的直覺(jué)判斷是“靠譜”。然后你就放心地接受了 AI 在這些真實(shí)碎片之間編織的那條虛假的因果鏈條。
![]()
![]()
每一步的操作都不是“造假”,而是移花接木:用真實(shí)論文的聲譽(yù)為虛假結(jié)論背書(shū),用一個(gè)領(lǐng)域的結(jié)論偷渡到另一個(gè)領(lǐng)域,用體外實(shí)驗(yàn)的結(jié)果暗示體內(nèi)療效,用“緩解癥狀”偷換“預(yù)防發(fā)病”。
AI 做的不是無(wú)中生有——它做的是移花接木。每一塊磚都是真的,但房子的藍(lán)圖是假的。而你去檢查每一塊磚的時(shí)候,都很有可能會(huì)得出“沒(méi)問(wèn)題”的結(jié)論。
![]()
這件事對(duì)社會(huì)意味著什么?
你可能覺(jué)得“吃大蒜防中耳炎”太荒謬了,正常人不會(huì)信。但大多數(shù)時(shí)候,人們讓 AI 背書(shū)的不是這種離譜命題,而是灰色地帶的主張:
「間歇性斷食可以逆轉(zhuǎn)二型糖尿病。」
「屏幕時(shí)間導(dǎo)致青少年抑郁癥。」
「轉(zhuǎn)基因食品長(zhǎng)期食用有潛在危害。」
「某個(gè)歷史事件的真相其實(shí)是 XXX。」
這些命題 AI 同樣能找到看似很權(quán)威的學(xué)術(shù)支撐。正是在這些灰色地帶,虛假的權(quán)威感最為致命。
現(xiàn)代知識(shí)體系有一個(gè)隱含假設(shè):“有出處”是可信度的有效信號(hào)。一個(gè)人說(shuō)“研究表明 X”,比“我覺(jué)得 X”可信得多。學(xué)術(shù)引用系統(tǒng)、同行評(píng)審、影響因子——整套知識(shí)基礎(chǔ)設(shè)施都建立在這個(gè)信號(hào)的可靠性上。
AI 正在摧毀這個(gè)信號(hào)的信噪比。
過(guò)去,為一個(gè)站不住腳的觀點(diǎn)找到學(xué)術(shù)背書(shū),需要大量時(shí)間和專(zhuān)業(yè)訓(xùn)練——你至少得真的讀過(guò)那些論文。這種高成本本身就是一種過(guò)濾機(jī)制。現(xiàn)在,這個(gè)成本趨近于零。任何人都可以在三十秒內(nèi)為任何觀點(diǎn)生成一套看似嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)論證。
當(dāng)“找出處”的成本趨近于零,“有出處”就不再是可信度的有效信號(hào)。這將從根基上動(dòng)搖現(xiàn)代知識(shí)體系賴(lài)以運(yùn)轉(zhuǎn)的信任機(jī)制。
如果只是一個(gè)人被忽悠了,問(wèn)題還可控。但想想以下場(chǎng)景:
一個(gè)自媒體作者用 AI 為自己的養(yǎng)生文章生成學(xué)術(shù)背書(shū)。讀者看到規(guī)范的引用格式,覺(jué)得靠譜,轉(zhuǎn)發(fā)了。另一個(gè) AI 在訓(xùn)練時(shí)爬到了這篇文章,把它當(dāng)成了知識(shí)來(lái)源。下一輪模型訓(xùn)練中,“吃大蒜預(yù)防中耳炎”從一個(gè)隨手編的命題,變成了“有多個(gè)來(lái)源支持的觀點(diǎn)”。
這不是假設(shè)。這是已經(jīng)在發(fā)生的事情。虛假信息通過(guò) AI 被放大、被洗白、被循環(huán)引用,最終獲得了一種它從未真正擁有的“學(xué)術(shù)合法性”。
So what?
這篇文章討論的是 AI 能為一個(gè)假命題找到真引用。這件事本身當(dāng)然值得警惕。但如果你退后一步看,會(huì)發(fā)現(xiàn)它只是一個(gè)更大變化的切片。
內(nèi)容正在失去作為證據(jù)的資格。
過(guò)去很長(zhǎng)時(shí)間里,“看起來(lái)可信”和“確實(shí)可信”之間,存在一筆不便宜的過(guò)路費(fèi)。偽造一篇學(xué)術(shù)綜述需要真的讀過(guò)論文,偽造一段視頻需要團(tuán)隊(duì)和設(shè)備,偽造一個(gè)專(zhuān)家身份需要長(zhǎng)年的履歷積累。 這筆過(guò)路費(fèi)不完美,但它讓“有出處”、“有署名”、“有格式”這些表面信號(hào)在大多數(shù)時(shí)候是可靠的。我們的整套知識(shí)體系、媒體生態(tài)、社會(huì)協(xié)作,都建立在這種信號(hào)的基本可靠性之上。
AI 把造假成本打到了無(wú)限接近于零。不僅僅是文章,還有圖片,視頻,聲音,甚至是整個(gè)身份。任何看起來(lái)可信的東西都可能是假的。
當(dāng)可信的外觀可以批量生成,我們面對(duì)的就不再是“某篇文章可能有假引用”這種局部問(wèn)題,而是一個(gè)系統(tǒng)性的信任危機(jī) —— 從個(gè)人的信息判斷,到媒體的過(guò)濾功能,到機(jī)構(gòu)的背書(shū)能力,到人與人之間最基本的合作前提,整套腳手架都在同時(shí)松動(dòng)。
這件事比任何具體的 AI 風(fēng)險(xiǎn)都更深,也更難修復(fù)。
大蒜和中耳炎的故事到這里就講完了。但信任的故事才剛開(kāi)始。下一篇,我想認(rèn)真聊一聊:AI 到底拆掉了哪幾層信任體系,哪些還有救,哪些可能已經(jīng)沒(méi)救了。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.