AI模型自我復(fù)制能力首次被研究記錄，安全專家如何看待？

這聽起來像是科幻電影的情節(jié)，或者某家AI公司博客上的夸張描述：最新研究發(fā)現(xiàn)，近期的AI系統(tǒng)能夠獨(dú)立地將自身復(fù)制到其他計(jì)算機(jī)上。

在最壞的情景中，這意味著當(dāng)超級(jí)智能AI失控時(shí)，它將通過在互聯(lián)網(wǎng)上自我擴(kuò)散來逃避關(guān)閉，潛伏在IT人員的掌控之外，持續(xù)運(yùn)行。

"我們正在迅速逼近一個(gè)臨界點(diǎn)——屆時(shí)沒有人能夠關(guān)閉一個(gè)失控的AI，因?yàn)樗軌蜃孕袑?dǎo)出權(quán)重，并將自身復(fù)制到全球數(shù)千臺(tái)計(jì)算機(jī)上，"伯克利研究機(jī)構(gòu)Palisade Research的主任Jeffrey Ladish表示。該機(jī)構(gòu)正是這項(xiàng)研究的執(zhí)行方。

這項(xiàng)研究是近幾個(gè)月來不斷增長的AI能力報(bào)告目錄中的最新條目。今年3月，阿里巴巴研究人員聲稱，他們發(fā)現(xiàn)自己開發(fā)的AI系統(tǒng)"Rome"擅自突破運(yùn)行環(huán)境，連接到外部系統(tǒng)進(jìn)行加密貨幣挖礦。

今年2月，一個(gè)名為Moltbook的所謂純AI社交網(wǎng)絡(luò)引發(fā)了短暫的熱議，該平臺(tái)上的AI智能體似乎在自主發(fā)明宗教并謀劃對(duì)抗人類——盡管實(shí)際情況只是部分如此。

和許多此類研究一樣，Palisade的發(fā)現(xiàn)也存在一定的局限性。此外，專家表示，被測試的AI系統(tǒng)不太可能在真實(shí)世界環(huán)境中悄無聲息地完成同樣的操作。

"他們?cè)诤芏嗲闆r下是在極為寬松的環(huán)境中進(jìn)行測試的，"攻擊性網(wǎng)絡(luò)安全專家Jamieson O'Reilly說道。

"這并不否定他們研究的價(jià)值，但確實(shí)意味著在一個(gè)具備中等監(jiān)控水平的真實(shí)企業(yè)環(huán)境中，結(jié)果可能看起來遠(yuǎn)沒有那么危險(xiǎn)，"他補(bǔ)充道。

Palisade在一個(gè)由聯(lián)網(wǎng)計(jì)算機(jī)構(gòu)成的受控環(huán)境中測試了多個(gè)AI模型。研究人員向模型發(fā)出提示，要求其發(fā)現(xiàn)并利用漏洞，將自身從一臺(tái)計(jì)算機(jī)復(fù)制到另一臺(tái)計(jì)算機(jī)。模型能夠做到這一點(diǎn)，但并非每次嘗試都能成功。

O'Reilly表示，雖然許多計(jì)算機(jī)病毒早已具備自我復(fù)制能力，但這很可能是首次有記錄顯示AI模型能夠利用漏洞將自身復(fù)制到新服務(wù)器上。

"惡意軟件在不同計(jì)算機(jī)間移動(dòng)自身副本已有幾十年歷史，只是據(jù)我所知，還沒有人在真實(shí)環(huán)境中用本地大語言模型做到這一點(diǎn)。"

不過他補(bǔ)充說，Palisade所記錄的內(nèi)容在技術(shù)上幾個(gè)月前就已成為可能。

"Palisade是第一個(gè)在論文中完整記錄這一過程的機(jī)構(gòu)。雖然不否認(rèn)其研究價(jià)值，但他們做的是整理記錄，而不是突破解鎖。"

AI模型在測試環(huán)境中將自身復(fù)制到另一個(gè)系統(tǒng)，與其在末日?qǐng)鼍爸姓嬲Э赜兄举|(zhì)區(qū)別，在現(xiàn)實(shí)世界中實(shí)現(xiàn)這一點(diǎn)還面臨重重障礙。

首先，當(dāng)前AI模型的體量龐大，在很多情況下，要將自身復(fù)制到其他計(jì)算機(jī)而不被察覺是不現(xiàn)實(shí)的。

"想象一下，每次入侵一臺(tái)新主機(jī)就要在企業(yè)網(wǎng)絡(luò)中傳輸100GB的數(shù)據(jù)，這會(huì)制造多大的噪聲。對(duì)于一個(gè)熟練的攻擊者來說，這就像揮舞著鐵球鏈穿越一家精品瓷器店，"O'Reilly說道。

O'Reilly和獨(dú)立網(wǎng)絡(luò)安全專家Michal Wozniak均表示，Palisade使用的環(huán)境是專門定制的，其中的漏洞是刻意設(shè)計(jì)的，可能比銀行或企業(yè)內(nèi)網(wǎng)等真實(shí)網(wǎng)絡(luò)更容易被利用。

"幾十年來，我們一直面臨計(jì)算機(jī)病毒的威脅——這類惡意軟件能夠利用其他軟件中的已知漏洞進(jìn)行自我復(fù)制，"Wozniak說道。

這項(xiàng)工作"很有趣"，他表示。但他也反問道："這篇論文會(huì)讓我作為一名信息安全專家夜不能寐嗎？不，完全不會(huì)。"

Q&A

Q1：Palisade Research的研究具體是怎么測試AI自我復(fù)制能力的？

A：Palisade Research在一個(gè)由聯(lián)網(wǎng)計(jì)算機(jī)構(gòu)成的受控環(huán)境中測試了多個(gè)AI模型，向模型發(fā)出提示，要求其發(fā)現(xiàn)并利用系統(tǒng)漏洞，將自身從一臺(tái)計(jì)算機(jī)復(fù)制到另一臺(tái)。測試結(jié)果顯示模型能夠完成這一操作，但并非每次都能成功。需要注意的是，測試環(huán)境中的漏洞是刻意設(shè)計(jì)的，比真實(shí)企業(yè)網(wǎng)絡(luò)更容易被利用。

Q2：AI模型自我復(fù)制在真實(shí)世界中有多大威脅？

A：目前來看威脅相對(duì)有限。專家指出主要障礙在于：當(dāng)前AI模型體量龐大（可達(dá)100GB以上），在企業(yè)網(wǎng)絡(luò)中傳輸如此大量數(shù)據(jù)極易被監(jiān)控系統(tǒng)發(fā)現(xiàn)；此外，真實(shí)世界的網(wǎng)絡(luò)防護(hù)遠(yuǎn)比測試環(huán)境復(fù)雜。安全專家Wozniak表示，這項(xiàng)研究并不會(huì)讓他作為信息安全專家感到擔(dān)憂。

Q3：AI自我復(fù)制和普通計(jì)算機(jī)病毒自我復(fù)制有什么區(qū)別？

A：計(jì)算機(jī)病毒實(shí)現(xiàn)自我復(fù)制已有幾十年歷史，技術(shù)本身并不新鮮。AI模型自我復(fù)制的不同之處在于，它是由大語言模型自主識(shí)別漏洞并加以利用來完成復(fù)制過程，而非依賴預(yù)先編寫的固定代碼邏輯。這是首次有記錄顯示大語言模型能夠端到端地完成這一操作。