這不是構(gòu)建數(shù)字心智的方式：推理失敗如何阻礙AI模型實(shí)現(xiàn)人類智能

一項(xiàng)新研究的作者認(rèn)為，現(xiàn)有的大語(yǔ)言模型架構(gòu)可能無(wú)法支撐實(shí)現(xiàn)人類級(jí)人工智能所需的問(wèn)題解決能力。

最新研究表明，當(dāng)今最流行的人工智能工具在架構(gòu)上的限制，可能會(huì)制約它們能夠達(dá)到的智能上限。

2月5日發(fā)表在預(yù)印本平臺(tái)arXiv上的一項(xiàng)研究指出，現(xiàn)代大語(yǔ)言模型在其問(wèn)題解決邏輯中天生容易出現(xiàn)斷裂，即所謂的「推理失敗」。

當(dāng)大語(yǔ)言模型丟失了可靠完成任務(wù)所需的關(guān)鍵信息，導(dǎo)致對(duì)看似簡(jiǎn)單的問(wèn)題給出錯(cuò)誤答案時(shí)，就發(fā)生了推理失敗。該論文是對(duì)現(xiàn)有研究的綜述，專門(mén)考察了Transformer模型——這是一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，支撐著包括ChatGPT、Claude和Google Gemini在內(nèi)的流行AI聊天機(jī)器人。

根據(jù)大語(yǔ)言模型在「人類最后考試」等評(píng)估中的表現(xiàn)，一些科學(xué)家認(rèn)為，底層的神經(jīng)網(wǎng)絡(luò)架構(gòu)有朝一日可能催生出能夠達(dá)到人類級(jí)認(rèn)知的模型。然而，研究人員指出，雖然Transformer架構(gòu)使大語(yǔ)言模型在語(yǔ)言生成等任務(wù)上極為強(qiáng)大，但它也抑制了實(shí)現(xiàn)真正人類級(jí)推理所需的那種可靠的邏輯過(guò)程。

「大語(yǔ)言模型已展現(xiàn)出卓越的推理能力，在廣泛的任務(wù)上取得了令人矚目的成果，」研究人員在論文中表示。「盡管取得了這些進(jìn)步，嚴(yán)重的推理失敗依然存在，甚至在看似簡(jiǎn)單的場(chǎng)景中也會(huì)發(fā)生……這種失敗被歸因于模型缺乏整體規(guī)劃和深度思考的能力。」

大語(yǔ)言模型的局限性

大語(yǔ)言模型在海量文本數(shù)據(jù)上進(jìn)行訓(xùn)練，通過(guò)逐詞預(yù)測(cè)一個(gè)合理的答案來(lái)響應(yīng)用戶的提示。它們通過(guò)將稱為「標(biāo)記」的文本單元串接在一起來(lái)實(shí)現(xiàn)這一點(diǎn)，這些串接方式基于從訓(xùn)練數(shù)據(jù)中學(xué)到的統(tǒng)計(jì)模式。

Transformer還使用一種稱為「自注意力」的機(jī)制來(lái)跟蹤長(zhǎng)文本序列中單詞和概念之間的關(guān)系。自注意力機(jī)制加上龐大的訓(xùn)練數(shù)據(jù)庫(kù)，使得現(xiàn)代聊天機(jī)器人非常擅長(zhǎng)對(duì)用戶提示生成令人信服的答案。

然而，大語(yǔ)言模型并不進(jìn)行傳統(tǒng)意義上的任何實(shí)際「思考」。相反，它們的響應(yīng)由算法決定。對(duì)于需要多步驟真正解決問(wèn)題的長(zhǎng)任務(wù)，Transformer可能會(huì)丟失關(guān)鍵信息，并退回到從訓(xùn)練數(shù)據(jù)中學(xué)到的模式。這導(dǎo)致了推理失敗。

「這一根本弱點(diǎn)不僅限于基本任務(wù)，還擴(kuò)展到數(shù)學(xué)問(wèn)題的組合、多事實(shí)聲明驗(yàn)證以及其他本質(zhì)上具有組合性的任務(wù)，」研究人員在論文中表示。

推理失敗也是為什么大語(yǔ)言模型在被用戶告知回答錯(cuò)誤后，常常仍然重復(fù)同樣的回復(fù)；或者對(duì)同一問(wèn)題的不同表述方式給出不同答案——即使被要求逐步解釋其推理過(guò)程也是如此。

英國(guó)阿蘭·圖靈研究所的高級(jí)研究數(shù)據(jù)科學(xué)家費(fèi)德里科·南尼認(rèn)為，大語(yǔ)言模型通常呈現(xiàn)為推理的東西，多半只是表面功夫。

「人們發(fā)現(xiàn)，如果你告訴大語(yǔ)言模型不要直接回答，而是『一步步思考』并先寫(xiě)出推理過(guò)程，它往往能得到正確答案，」南尼告訴媒體。「但這是一種技巧。這不是人類意義上的真正推理——它仍然只是裝扮成思維鏈的下一詞元預(yù)測(cè)，」他說(shuō)。「當(dāng)我們說(shuō)這些模型『推理』時(shí)，我們實(shí)際的意思是，它們寫(xiě)出一個(gè)推理過(guò)程——聽(tīng)起來(lái)像是一串合理的推理鏈條。」

現(xiàn)有AI基準(zhǔn)測(cè)試的不足

研究人員發(fā)現(xiàn)，當(dāng)前評(píng)估大語(yǔ)言模型表現(xiàn)的方法在三個(gè)關(guān)鍵方面存在不足。第一，重新表述提示詞可能會(huì)影響結(jié)果。第二，基準(zhǔn)測(cè)試隨著使用次數(shù)的增加而退化并受到污染。第三，它們只評(píng)估最終結(jié)果，而不是模型得出結(jié)論所用的推理過(guò)程。

這意味著當(dāng)前的基準(zhǔn)測(cè)試可能?chē)?yán)重高估了大語(yǔ)言模型的能力，并低估了它們?cè)诂F(xiàn)實(shí)使用中失敗的頻率。

「我們的立場(chǎng)不是說(shuō)基準(zhǔn)測(cè)試有缺陷，而是它們需要進(jìn)化，」該研究的合著者、加州理工學(xué)院的計(jì)算機(jī)科學(xué)與機(jī)器人學(xué)學(xué)生宋培陽(yáng)通過(guò)電子郵件表示。同樣地，南尼表示，基準(zhǔn)測(cè)試往往會(huì)滲入到大語(yǔ)言模型的訓(xùn)練數(shù)據(jù)中，這意味著后續(xù)的大語(yǔ)言模型會(huì)學(xué)會(huì)如何欺騙這些基準(zhǔn)測(cè)試。

「除此之外，既然模型已投入生產(chǎn)環(huán)境，使用本身也成了一種基準(zhǔn)測(cè)試，」南尼說(shuō)。「你把系統(tǒng)擺在用戶面前，看看哪里出問(wèn)題——這就是新的測(cè)試。所以是的，我們需要更好的基準(zhǔn)測(cè)試，也需要減少依賴AI來(lái)檢查AI。但這在實(shí)踐中非常困難，因?yàn)檫@些工具已經(jīng)融入我們的工作方式，直接使用它們極其方便。」

通往通用人工智能的新架構(gòu)？

與近期其他研究不同，這項(xiàng)新研究并不認(rèn)為神經(jīng)網(wǎng)絡(luò)方法在追求通用人工智能的道路上是死胡同。相反，研究人員將其比作計(jì)算機(jī)的早期時(shí)代，指出理解大語(yǔ)言模型為何失敗是改進(jìn)它們的關(guān)鍵。

然而，他們確實(shí)認(rèn)為，僅僅在更多數(shù)據(jù)上訓(xùn)練模型或擴(kuò)大模型規(guī)模，不太可能獨(dú)自解決這個(gè)問(wèn)題。這意味著，開(kāi)發(fā)通用人工智能可能需要一種根本不同的模型構(gòu)建方法。

「神經(jīng)網(wǎng)絡(luò)，尤其是大語(yǔ)言模型，顯然是通用人工智能圖景的一部分。它們的進(jìn)展是非凡的，」宋說(shuō)。「然而，我們的綜述表明，僅靠擴(kuò)展規(guī)模不太可能解決所有推理失敗……[這意味著]達(dá)到人類級(jí)推理可能需要架構(gòu)上的創(chuàng)新、更強(qiáng)的世界模型、改進(jìn)的魯棒性訓(xùn)練，以及與結(jié)構(gòu)化推理和具身交互的更深度融合。」

南尼對(duì)此表示贊同。「從心智哲學(xué)的角度來(lái)看，我認(rèn)為我們基本上已經(jīng)找到了Transformer的極限。它們不是你構(gòu)建數(shù)字心智的方式，」他說(shuō)。「它們對(duì)文本的建模極其出色，以至于幾乎無(wú)法分辨一段文字是出自人類還是機(jī)器之手。『但這就是它們的本質(zhì)：語(yǔ)言模型……這種架構(gòu)的潛力是有限的。』」

如果朋友們喜歡，敬請(qǐng)關(guān)注“知新了了”！