AI、AI、AI，一天到晚都是AI，這背后是不是有什么陰謀？

當(dāng)AGI成為一種必然的宿命

機(jī)器大軍正在向我們逼近，或者說(shuō)，我們被告知如此。不是今天，但也為期不遠(yuǎn)，快到我們似乎必須在它們的包圍到來(lái)之前，重新組織整個(gè)人類文明。在董事會(huì)的會(huì)議室、大學(xué)的講壇、議會(huì)的聽證會(huì)，以及那些令人窒息的科技報(bào)道中，超級(jí)智能的幽靈正愈發(fā)頻繁地在我們的話語(yǔ)體系中盤桓。

它通常的描述是“通用人工智能（AGI）”，有時(shí)則會(huì)被描繪得更加廣泛，但始終被視作一種在所有領(lǐng)域都超越人類認(rèn)知的人造心智，能夠?qū)崿F(xiàn)遞歸的自我改進(jìn)，甚至可能對(duì)人類生存構(gòu)成威脅。但無(wú)論叫什么名字，這種即將到來(lái)的超級(jí)智能，已經(jīng)占據(jù)徹底殖民了我們的集體想象。

這個(gè)場(chǎng)景呼應(yīng)了科幻小說(shuō)的推測(cè)性的譜系，從阿西莫夫的“機(jī)器人三定律”（一種試圖限制機(jī)器自主權(quán)的文學(xué)嘗試），到后來(lái)的斯坦利·庫(kù)布里克和阿瑟·C·克拉克的HAL 9000，或是威廉·吉布森筆下的失控網(wǎng)絡(luò)。這些曾經(jīng)屬于描述性思維實(shí)驗(yàn)的領(lǐng)域，如今卻成為一種準(zhǔn)政治的預(yù)言（Quasi-political Forecast）。

超級(jí)智能的敘事：一種權(quán)力的裝置

這個(gè)敘述與任何科學(xué)共識(shí)都關(guān)系不大，它實(shí)際上是從特定的權(quán)力回廊中滋生出來(lái)的。那些最高調(diào)的超級(jí)智能預(yù)言家，恰恰是那些正在構(gòu)建他們所警告之系統(tǒng)的始作俑者。當(dāng)山姆·奧特曼一邊高談闊論AGI對(duì)人類的生存威脅，一邊爭(zhēng)分奪秒地推動(dòng)其開發(fā)，或者當(dāng)埃隆·馬斯克一邊警告AI末日，一邊創(chuàng)辦公司加速其發(fā)展時(shí)，我們看到的是一種以預(yù)測(cè)為名的政治偽裝。

超級(jí)智能的話語(yǔ)體系作為一個(gè)精密的權(quán)力裝置在運(yùn)作，它將關(guān)于企業(yè)責(zé)任、工人失業(yè)、算法偏見和民主治理等現(xiàn)實(shí)問題，轉(zhuǎn)化為關(guān)于意識(shí)和控制的抽象哲學(xué)謎題。這種障眼法并非偶然，也并非無(wú)害。通過(guò)將假設(shè)性的災(zāi)難置于公眾討論的中心，AI系統(tǒng)的架構(gòu)師們把自己定位為不被人類接受的守護(hù)者，背負(fù)著可怕的真相和巨大的責(zé)任。他們搖身一變，成為文明與其潛在毀滅者之間不可或缺的中介，而巧合的是，這一角色恰恰需要巨額資本投入、最少的監(jiān)管和高度集中的決策權(quán)。

試想這種框架是如何運(yùn)作的？當(dāng)我們討論未來(lái)的AGI是否可能消滅人類時(shí)，我們并不是在談?wù)摫凰惴ūO(jiān)控所支配的亞馬遜倉(cāng)庫(kù)工人，也不是在談?wù)撃莻€(gè)社區(qū)被自動(dòng)武器系統(tǒng)鎖定的巴勒斯坦人。在存在主義風(fēng)險(xiǎn)的宏大修辭面前，這些當(dāng)下的現(xiàn)實(shí)逐漸被淡化為背景噪音。這些痛苦是真實(shí)的，而超級(jí)智能仍然是理論上的；但我們的注意力和資源——甚至我們的監(jiān)管框架——卻越來(lái)越多地轉(zhuǎn)向后者，各國(guó)政府正在組建前沿人工智能工作坊，并為尚屬假設(shè)的未來(lái)系統(tǒng)性風(fēng)險(xiǎn)起草預(yù)案。與此同時(shí)針對(duì)當(dāng)前的勞動(dòng)保護(hù)和算法監(jiān)控的限制，卻依然被束縛在日益捉襟見肘的立法之中。

在美國(guó)，關(guān)于“對(duì)人工智能安全、可靠和可信地開發(fā)與使用”的第14110號(hào)行政命令，雖然提及了民權(quán)、競(jìng)爭(zhēng)、勞動(dòng)和歧視等問題，但其最有力的問責(zé)義務(wù)卻指向了大型、高能力的基礎(chǔ)模型以及未來(lái)計(jì)算量超過(guò)一定閾值的系統(tǒng)，要求企業(yè)向聯(lián)邦政府分享技術(shù)信息，并證明其模型符合特定的安全限制。英國(guó)則走得更遠(yuǎn)，成立了前沿人工智能工作坊——現(xiàn)已并入人工智能安全研究所，其職責(zé)聚焦于極端的、假設(shè)性的風(fēng)險(xiǎn)。歐盟人工智能法案（AI Act），沒有試圖規(guī)范當(dāng)前AI帶來(lái)的危害，卻仍然專門設(shè)有一節(jié)討論未來(lái)某個(gè)未知時(shí)間點(diǎn)可能出現(xiàn)的系統(tǒng)性風(fēng)險(xiǎn)和基礎(chǔ)模型風(fēng)險(xiǎn)。在這些司法實(shí)踐中，政治能量都聚集在未來(lái)的、推測(cè)性的系統(tǒng)之上。

超級(jí)人工智能的敘事，正在非常有意識(shí)地推進(jìn)一項(xiàng)政治議程，即將注意力從當(dāng)前的控制體系轉(zhuǎn)移到遙遠(yuǎn)的災(zāi)難上，把討論焦點(diǎn)從現(xiàn)實(shí)的力量轉(zhuǎn)移到想象的未來(lái)。關(guān)于機(jī)器封神的預(yù)言重塑了權(quán)威的獲取方式，以及由誰(shuí)的利益來(lái)掌舵 AI治理；同時(shí)壓制了那些在算法下受苦者的呼聲，放大了那些希望人類滅絕的聲音，使這些聲音主導(dǎo)了討論。這種偽裝成中立未來(lái)主義的論調(diào)，實(shí)則是對(duì)當(dāng)下政治經(jīng)濟(jì)的一種干預(yù)。擦亮雙眼，超級(jí)智能的預(yù)言更多不是關(guān)于機(jī)器的警告，而是在為權(quán)力服務(wù)，而這種策略，必須被識(shí)破。這一敘事的力量，正源自其歷史。

在理性主義的祭壇前膜拜

超級(jí)智能作為主導(dǎo)AI敘事，在ChatGPT之前就已出現(xiàn)，可以追溯到20世紀(jì)50年代冷戰(zhàn)戰(zhàn)略與計(jì)算理論之間奇特的結(jié)合。作為智庫(kù)的蘭德公司（RAND Corporation），其核戰(zhàn)略家們?cè)M人類文明的毀滅，為將智能視為與文化與政治絕緣的純粹計(jì)算這一概念提供了思想溫床。

早期的AI先驅(qū)繼承了這一框架，當(dāng)艾倫·圖靈提出他著名的測(cè)試時(shí)，他有意回避了意識(shí)或經(jīng)驗(yàn)的問題，轉(zhuǎn)而關(guān)注可觀察的行為——如果一臺(tái)機(jī)器僅通過(guò)文字就能讓人類對(duì)話者相信它具有人性，那么它就值得被稱為智能。這種行為主義的簡(jiǎn)化之后被證明是關(guān)鍵性的，因?yàn)樗鼘⑺季S視為可量化的操作，從而將智能重新定義為可以被衡量、排序，最終被機(jī)器超越的東西。

據(jù)數(shù)學(xué)家烏拉姆（Stanislaw Ulam）回憶，早在1958年，計(jì)算機(jī)科學(xué)家馮諾依曼便談及一種技術(shù)奇點(diǎn)，即加速的進(jìn)步終將使機(jī)器能夠改進(jìn)自身設(shè)計(jì)，迅速將自身提升到具有超越人類的能力。這一概念在20世紀(jì)60年代由數(shù)學(xué)家歐文·古德（Irving John Good）進(jìn)一步完善，奠定了超級(jí)智能討論的基本框架：遞歸式的自我進(jìn)化、指數(shù)級(jí)的增長(zhǎng)，以及人類所需要發(fā)明的最后造物。當(dāng)然，這些只是數(shù)學(xué)上的推演而非實(shí)證觀察，但此類推測(cè)與思想實(shí)驗(yàn)被如此頻繁地復(fù)述，以至于它們獲得了預(yù)言般的重量，使其所描繪的想象未來(lái)顯得不證自明。

20世紀(jì)80年代和90年代，這些思想從計(jì)算機(jī)科學(xué)系的象牙塔，遷徙到了一種獨(dú)特的亞文化圈層，一群圍繞著計(jì)算機(jī)科學(xué)家尤德科夫斯基（Eliezer Yudkowsky）及其奇點(diǎn)研究所（后更名為機(jī)器智能研究所）的理性主義者和未來(lái)主義者。這個(gè)群體構(gòu)建了一個(gè)關(guān)于超級(jí)智能的理論框架，即效用函數(shù)，一個(gè)旨在指導(dǎo)人工智能決策的形式化目標(biāo)系統(tǒng)。

在回形針?biāo)枷雽?shí)驗(yàn)中，他們?cè)O(shè)計(jì)了一個(gè)高度先進(jìn)的人工智能，它的唯一目標(biāo)是盡可能多地制造回形針。這個(gè)微不足道的目標(biāo)促使機(jī)器消耗所有資源。該思想實(shí)驗(yàn)突出了工具性收斂的可能，即幾乎任何目標(biāo)都會(huì)促使人工智能尋求權(quán)力和資源。這個(gè)思想實(shí)驗(yàn)還提出了正交性論題（Orthogonality Thesis），該定理認(rèn)為智能與道德價(jià)值是獨(dú)立的。他們?yōu)橐粋€(gè)并不存在的實(shí)體創(chuàng)造了一套學(xué)術(shù)化的哲學(xué)體系，包括對(duì)不同類型的人工智能失控情景給出了細(xì)致分類，以及對(duì)可能的未來(lái)智能間非因果（acausal）權(quán)衡，給出了詳盡論述。

這些思想家的共同點(diǎn)在于他們對(duì)某種推理風(fēng)格的堅(jiān)定承諾。他們的實(shí)踐或許可以被稱為極端理性主義，即相信純粹的邏輯，在脫離經(jīng)驗(yàn)約束或社會(huì)背景后，仍能夠揭示關(guān)于技術(shù)和社會(huì)的根本真理。這種方法優(yōu)先考慮思想實(shí)驗(yàn)而非數(shù)據(jù)，重視巧妙的悖論而非日常觀察，其結(jié)果是一套讀起來(lái)如同中世紀(jì)神學(xué)，精妙而復(fù)雜，但卻完全脫離了人工智能系統(tǒng)實(shí)際發(fā)展的論述。誠(chéng)然，我們應(yīng)當(dāng)承認(rèn)，這種脫節(jié)并不意味著他們的努力毫無(wú)價(jià)值，相反，通過(guò)將抽象推理推向極限，他們澄清了關(guān)于控制、倫理和長(zhǎng)期風(fēng)險(xiǎn)的問題，這些問題后來(lái)為更加務(wù)實(shí)的AI 政策和安全討論提供了基礎(chǔ)。

這一傳統(tǒng)在當(dāng)代體現(xiàn)最顯著的表述，出現(xiàn)在波斯特洛姆（Nick Bostrom）2014年的著作《超級(jí)智能》中，該書將邊緣化的互聯(lián)網(wǎng)哲學(xué)轉(zhuǎn)變?yōu)橹髁饔懻摗Ｗ鳛榍芭＝虼髮W(xué)哲學(xué)教授，波斯特洛姆賦予了此前只存在于科幻小說(shuō)和以晦澀標(biāo)題命名的博客中的情景以學(xué)術(shù)上的嚴(yán)肅性。盡管他的書中沒有包含任何實(shí)證的AI研究，也幾乎沒有涉及實(shí)際出現(xiàn)的機(jī)器學(xué)習(xí)，但它卻成為硅谷的必讀書目，常被科技億萬(wàn)富翁引用。

馬斯克曾推特表示：“波斯特洛姆的《超級(jí)智能》值得閱讀。我們需要對(duì)AI格外謹(jǐn)慎。它可能比核武器更具危險(xiǎn)性。”馬斯克提醒人們保持謹(jǐn)慎是正確的，這從他自己的人工智能公司向孟菲斯的Boxtown（一個(gè)以黑人為主的工人階級(jí)社區(qū)）排放1200至2000噸氮氧化物及甲醛等有害空氣污染物的行為中，便可得到佐證。

這篇評(píng)論并非試圖貶低波斯特洛姆的成就，他的功績(jī)?cè)谟趯㈥P(guān)于AI的那些蔓延且往往語(yǔ)無(wú)倫次的恐懼，梳理成了一個(gè)嚴(yán)謹(jǐn)?shù)目蚣堋５臅袝r(shí)讀起來(lái)像是一項(xiàng)自然歷史研究項(xiàng)目，他像分類學(xué)家一樣，將通往超級(jí)智能的不同路徑、各種“失敗模式”（即系統(tǒng)可能出錯(cuò)或毀滅我們的方式），以及“控制問題”的解決方案（即保持AI對(duì)齊的方案）分門別類。這種分類學(xué)的方法，甚至讓最狂野的臆測(cè)也披上了科學(xué)的外衣。通過(guò)將超級(jí)智能視為系統(tǒng)性研究的對(duì)象而非科幻設(shè)定的前提，波斯特洛姆成功地將存在性風(fēng)險(xiǎn)洗白進(jìn)了體面的話語(yǔ)體系之中。

有效利他主義：

理性的計(jì)算與被遮蔽的痛苦

有效利他主義（effective altruism）運(yùn)動(dòng)為這些理念提供了社會(huì)基礎(chǔ)設(shè)施。其核心原則是通過(guò)理性計(jì)算，以最大化長(zhǎng)期收益。在這一世界觀中，超級(jí)智能的風(fēng)險(xiǎn)被嚴(yán)絲合縫地嵌入其中，因?yàn)槿绻磥?lái)的人與現(xiàn)在的人一樣重要，而一次小概率的全球性災(zāi)難所造成的危害超過(guò)了持續(xù)的傷害，那么防止人工智能末日就成為首要任務(wù)。按照這種邏輯，假設(shè)中出現(xiàn)在未來(lái)的生命，其優(yōu)先級(jí)會(huì)超越當(dāng)下人們所經(jīng)歷的痛苦。

這并非僅僅是書齋里的抽象辯論，因?yàn)檎J(rèn)同有效利他主義的慈善家們將大量資金投入了人工智能安全研究，而資金決定了研究人員關(guān)注的方向。與有效利他主義理念一致的組織已在大學(xué)和政策領(lǐng)域建立，發(fā)布報(bào)告為政府提供關(guān)于人工智能的思考建議。英國(guó)的前沿人工智能特別工作坊（Frontier AI Taskforce）包括了與有效利他主義運(yùn)動(dòng)有明確關(guān)聯(lián)的成員，評(píng)論人士認(rèn)為這些聯(lián)系有助于將有效利他主義認(rèn)定的優(yōu)先事項(xiàng)加入到政府有關(guān)人工智能風(fēng)險(xiǎn)的政策中。

有效利他主義鼓勵(lì)其支持者進(jìn)入公共機(jī)構(gòu)和主要實(shí)驗(yàn)室，從而形成一條將這些優(yōu)先事項(xiàng)帶入決策核心的人才管道。前美國(guó)政府機(jī)構(gòu)“情報(bào)高級(jí)研究計(jì)劃局”（Intelligence Advanced Research Projects Activity）主任Jason Matheny曾描述過(guò)，有效利他主義者可以通過(guò)“在政府職位中摘取低垂的果實(shí)”來(lái)施加影響。超級(jí)智能的討論之所以傳播，不是因?yàn)閷＜移毡檎J(rèn)為這是我們最緊迫的問題，而是因?yàn)橐粓?chǎng)資源充足的運(yùn)動(dòng)為其提供了資金和接觸權(quán)力的渠道。

這并不是要否認(rèn)與有效利他主義理念或與Bostrom所闡述的超級(jí)智能這一概念進(jìn)行交流所帶來(lái)的價(jià)值。問題在于，一旦這些理念進(jìn)入政治和商業(yè)領(lǐng)域，它們是何其容易被曲解。理清這段超級(jí)智能的思想譜系很是重要，因?yàn)樗沂玖顺?jí)智能討論作為一種文化產(chǎn)物的特性，這些理念已經(jīng)超越了理論，進(jìn)入了制度領(lǐng)域，獲得了資金和倡導(dǎo)者。而它的出現(xiàn)根植于那些推崇理性主義而非經(jīng)驗(yàn)主義、將個(gè)人天才置于集體判斷之上、并優(yōu)先考慮技術(shù)決定論而非社會(huì)背景的制度中。

末日企業(yè)家真正在乎的

是利潤(rùn)而非人類的安全

超級(jí)智能從一種邊緣的互聯(lián)網(wǎng)哲學(xué)蛻變?yōu)槎聲?huì)的頂級(jí)戰(zhàn)略，無(wú)疑是21世紀(jì)最成功的意識(shí)形態(tài)戰(zhàn)役之一。那些此前只盯著季度財(cái)報(bào)和用戶增長(zhǎng)曲線的科技高管，突然開始像神秘主義者一般，高談闊論人類的宇宙宿命。這種轉(zhuǎn)變重塑了人工智能發(fā)展的政治經(jīng)濟(jì)格局。

OpenAI，這家成立于2015年、旨在確保人工智能造福全人類的非營(yíng)利組織，正是這一轉(zhuǎn)型的縮影。OpenAI已演變?yōu)橐环N奇特的嵌合體，它是一個(gè)由非營(yíng)利董事會(huì)控制的“利潤(rùn)上限”公司，估值高達(dá)5000億美元，卻在爭(zhēng)分奪秒地構(gòu)建那個(gè)它自己警告可能會(huì)毀滅我們的AGI。這種結(jié)構(gòu)因其復(fù)雜性而顯得繁復(fù)，但在超級(jí)智能的邏輯中卻完全合情合理。如果AGI既是終極的應(yīng)許之地，又是存在的終極威脅，那么構(gòu)建它的組織就必須是矛盾的統(tǒng)一體，既商業(yè)又利他，既激進(jìn)又審慎，既胸懷天下又諱莫如深。

OpenAI的首席執(zhí)行官奧特曼已將勉為其難的先知（Reluctant Prophet）這一修辭姿態(tài)修煉得爐火純青。在國(guó)會(huì)聽證、博客文章和采訪中，他一方面警告人工智能的潛在危險(xiǎn)，另一方面又堅(jiān)持推進(jìn)技術(shù)發(fā)展的必要性。他今年早些時(shí)候在自己的博客上寫道：“我們的使命是確保AGI能夠造福全人類。”他的論點(diǎn)中有一種強(qiáng)烈的緊迫感，認(rèn)為我們必須在其他人之前完成AGI的構(gòu)建，因?yàn)槲ㄓ形覀儾艙碛凶銐虻呢?zé)任感去駕馭它。奧特曼似乎有意將OpenAI定位為人類的代表，背負(fù)著創(chuàng)造類神智能的可怕重?fù)?dān)，只為將其關(guān)進(jìn)籠子里。

盡管如此，OpenAI也在追求利潤(rùn)。而這一切真正圍繞的，就是利潤(rùn)。超級(jí)智能的敘事帶來(lái)了巨大的財(cái)務(wù)影響，為尚未展現(xiàn)出持續(xù)自給自足能力的公司賦予天文數(shù)字的估值。畢竟，如果你正在打造人類的最后發(fā)明，傳統(tǒng)的商業(yè)指標(biāo)或許便不再適用。這種末世論框架解釋了為何微軟會(huì)向OpenAI投資130億美元，為何風(fēng)投機(jī)構(gòu)熱衷于投資致力于AGI的初創(chuàng)公司，以及為何市場(chǎng)會(huì)將像ChatGPT這樣的大語(yǔ)言模型視為全知的先驅(qū)者。

由前OpenAI高管創(chuàng)立的Anthropic，將自己定位為“安全導(dǎo)向”的替代方案，承諾打造“有用、誠(chéng)實(shí)且無(wú)害”的AI系統(tǒng)，從而籌集了數(shù)十億美元資金。但這一切不過(guò)是一場(chǎng)精心編排的安全表演，因?yàn)锳I帶來(lái)的危害在OpenAI、Anthropic、Google DeepMind等公司之間的競(jìng)爭(zhēng)中，并沒有真實(shí)的立足之地，真正的較量在于誰(shuí)能夠構(gòu)建出最佳、最盈利的模型，以及誰(shuí)能更好地用謹(jǐn)慎的語(yǔ)言包裝這場(chǎng)野心勃勃的追逐。

超級(jí)智能的自我實(shí)現(xiàn)預(yù)言排除民主討論

這種動(dòng)態(tài)引發(fā)了一場(chǎng)底線競(jìng)賽，每家公司都以競(jìng)爭(zhēng)對(duì)手可能不夠謹(jǐn)慎為由，為自己的加速辯護(hù)：中國(guó)人來(lái)了，如果我們放慢速度，他們就會(huì)率先構(gòu)建對(duì)齊不當(dāng)?shù)腁GI。Meta在沒有適當(dāng)保障的情況下發(fā)布了開源模型。如果某個(gè)無(wú)名之輩率先突破了怎么辦？這種偏執(zhí)的邏輯封死了任何真正的暫停或民主商議的可能。于是，速度即安全，審慎即魯莽。

超級(jí)智能的討論也重塑了企業(yè)內(nèi)部的政治格局，AI安全團(tuán)隊(duì)通常由相信存在性風(fēng)險(xiǎn)的成員組成，他們?yōu)榧みM(jìn)的開發(fā)提供道德掩護(hù)，通過(guò)強(qiáng)化“我們?cè)谡仁澜纭钡男拍睿饬酸槍?duì)商業(yè)行為的批評(píng)。如果你的安全團(tuán)隊(duì)正在發(fā)表關(guān)于防止人類滅絕的論文，那么常規(guī)的商業(yè)監(jiān)管看起來(lái)便顯得微不足道了。

2023年11月OpenAI那場(chǎng)廣為人知的宮斗大戲，將這些動(dòng)態(tài)暴露無(wú)遺。當(dāng)董事會(huì)因質(zhì)疑奧特曼的坦誠(chéng)而試圖解雇他時(shí)，由此引發(fā)的混亂暴露了公司內(nèi)部潛在的權(quán)力關(guān)系。那些被“拯救人類”的愿景招募進(jìn)來(lái)的員工，他們威脅如果他們的CEO不被重新任命，就要集體辭職。他們對(duì)奧特曼的忠誠(chéng)，竟壓倒了拯救人類的使命？盡管微軟并未正式掌控OpenAI董事會(huì)，但作為公司的主要資助者和云服務(wù)提供商，它在關(guān)鍵時(shí)刻發(fā)揮了決定性影響，提出雇傭Altman及其追隨者。最終，那些認(rèn)為“誠(chéng)實(shí)是CEO重要品質(zhì)”的董事會(huì)成員黯然離場(chǎng)，奧特曼凱旋歸來(lái)。

超級(jí)智能的宣傳服務(wù)于權(quán)力，當(dāng)它與資本和控制所帶來(lái)利益發(fā)生沖突時(shí)，就會(huì)被擱置一旁。這從來(lái)不是關(guān)于拯救人類，而是關(guān)于利潤(rùn)。

宣揚(yáng)人工智能末日的創(chuàng)業(yè)者們發(fā)現(xiàn)了一個(gè)完美的公式。通過(guò)警告存在性風(fēng)險(xiǎn)，他們將自己定位為不可或缺的角色；通過(guò)競(jìng)相構(gòu)建AGI，他們?yōu)闊o(wú)限制地使用資源提供了正當(dāng)理由；通過(guò)聲稱擁有獨(dú)特責(zé)任，他們轉(zhuǎn)移了民主監(jiān)督的關(guān)注點(diǎn)。未來(lái)成了當(dāng)下資本積累的人質(zhì)，而我們卻被告知要對(duì)這些負(fù)責(zé)任的看守者心懷感激。

超級(jí)智能的討論積極地塑造著未來(lái)。通過(guò)不斷重復(fù)，推測(cè)性場(chǎng)景獲得了宿命般的力量。這一過(guò)程制造了必然性，揭示了權(quán)力如何通過(guò)預(yù)言發(fā)揮作用。

試看那個(gè)斷言：AGI將在5到20年內(nèi)出現(xiàn)。在許多信源中，這一預(yù)測(cè)出人意料地保持穩(wěn)定。但自20世紀(jì)中葉以來(lái)，研究人員和未來(lái)學(xué)家就反復(fù)承諾“在幾十年內(nèi)”會(huì)出現(xiàn)人類水平的人工智能，但這一時(shí)間線卻不斷后移。這種移動(dòng)的時(shí)間窗口具有特定的功能：它足夠近，可以為立即的大規(guī)模投資提供正當(dāng)理由，又足夠遠(yuǎn)，可以推遲必要的問責(zé)。它創(chuàng)造了一個(gè)時(shí)間框架，在此框架下，無(wú)論民主討論的情況是怎么樣，某些行動(dòng)都會(huì)變得不可避免。

這種必然發(fā)生的敘事滲透到硅谷對(duì)人工智能的討論中。高管們宣稱，AGI的到來(lái)是不可避免的，無(wú)論我們是否喜歡，仿佛技術(shù)發(fā)展是一種自然力量，而非人類的選擇。這種將進(jìn)步自然化的說(shuō)法，掩蓋了那些使某些未來(lái)比其他未來(lái)更有可能發(fā)生的具體決策、投資和基礎(chǔ)設(shè)施。當(dāng)科技領(lǐng)袖說(shuō)我們無(wú)法阻止進(jìn)步時(shí)，他們真正想表達(dá)的是，你們無(wú)法阻止我們。

媒體的推波助瀾在這一過(guò)程中起著至關(guān)重要的作用，因?yàn)榇笳Z(yǔ)言模型的每一次小幅改進(jìn)都會(huì)被描繪成通向AGI的一步。ChatGPT能寫詩(shī)，顯然意識(shí)即將來(lái)臨。Claude能解決編程問題，奇點(diǎn)已經(jīng)臨近。這類說(shuō)法往往源自構(gòu)建這些系統(tǒng)的企業(yè)本身，營(yíng)造出一種趨勢(shì)，這種趨勢(shì)逐漸成為自我實(shí)現(xiàn)的預(yù)言。投資者因此投資，因?yàn)锳GI似乎觸手可及；研究人員加入公司，因?yàn)槲磥?lái)正在那里被構(gòu)建；政府推遲監(jiān)管，因?yàn)樗麄儾幌胪侠郾緡?guó)的領(lǐng)頭羊。

AGI必然發(fā)生這一敘事模式也通過(guò)語(yǔ)言選擇加以構(gòu)建。注意“AGI”如何迅速取代“人工智能”在公共討論中的地位，仿佛通用智能是自然演化的必然結(jié)果，而非一個(gè)具體且存在爭(zhēng)議的概念。“超級(jí)智能”——或者這個(gè)概念最終采用的任何其他術(shù)語(yǔ)似乎自然而然地成為這架階梯上的下一步。請(qǐng)注意，“對(duì)齊”，即確保人工智能系統(tǒng)做人類想要的事情是如何成為AI安全領(lǐng)域核心問題的，它假設(shè)了超人智能的存在，并將它帶來(lái)的挑戰(zhàn)視為技術(shù)問題而非政治問題。

再考慮“算力”這一原本指代計(jì)算資源的詞，是如何在當(dāng)下成為一種像石油或谷物一樣，可以被囤積和控制的可量化的資源。這種語(yǔ)義轉(zhuǎn)變很重要，因?yàn)檎Z(yǔ)言塑造可能性。當(dāng)我們接受AGI是不可避免的，我們就不再追問是否應(yīng)該去建造它，而在這種喧囂中，我們卻忽略了我們不經(jīng)意間已經(jīng)默認(rèn)了由一小群技術(shù)專家來(lái)決定我們的未來(lái)。

當(dāng)我們同時(shí)將算力視為一種戰(zhàn)略資源時(shí)，我們進(jìn)一步將權(quán)力集中于那些掌控?cái)?shù)據(jù)中心的人手中，而這些人，正如奧特曼被罷免事件所展示的那樣，這又將更多的權(quán)力賦予這一小撮人。

本應(yīng)抵制這種邏輯的學(xué)術(shù)機(jī)構(gòu)，已被征召進(jìn)這場(chǎng)必然性的制造中。渴望產(chǎn)業(yè)資金和相關(guān)性的大學(xué)，紛紛設(shè)立AI安全中心和存在性風(fēng)險(xiǎn)項(xiàng)目。這些機(jī)構(gòu)表面上獨(dú)立，卻最終強(qiáng)化了產(chǎn)業(yè)敘事，它們撰寫關(guān)于AGI時(shí)間線和對(duì)齊策略的論文，為科幻小說(shuō)賦予學(xué)術(shù)權(quán)威。年輕的研究人員看到資金和聲望集中在超級(jí)智能問題上，便將職業(yè)方向轉(zhuǎn)向超級(jí)智能相關(guān)議題，而非當(dāng)下人工智能的危害。

國(guó)際競(jìng)爭(zhēng)進(jìn)一步強(qiáng)化了超級(jí)人工智能必然出現(xiàn)的敘事。美國(guó)和中國(guó)之間的“人工智能軍備競(jìng)賽”被描述為存在主義層面的較量：誰(shuí)率先構(gòu)建出AGI，誰(shuí)就將獲得永久的地緣政治主導(dǎo)權(quán)。這種新冷戰(zhàn)的修辭方式排除了合作、監(jiān)管或克制的可能性，讓沖向危險(xiǎn)技術(shù)的競(jìng)賽看起來(lái)像是愛國(guó)主義，而非魯莽舉動(dòng)。國(guó)家安全再次成為壓制民主討論的王牌。

這一預(yù)言通過(guò)資源集中實(shí)現(xiàn)了自我應(yīng)驗(yàn)——隨著資源不斷流向AGI研究，其他AI研究方式逐漸被邊緣化。原本可能從事可解釋AI或用于研究AI向善的科研人員，轉(zhuǎn)而加入專注于增加大語(yǔ)言模型規(guī)模的實(shí)驗(yàn)室。未來(lái)變得狹窄，并非由于預(yù)言本身準(zhǔn)確，而是因?yàn)轭A(yù)言號(hào)令了資源的分配。

從財(cái)務(wù)角度來(lái)看，這是一種“正面我贏，反面你輸”的安排：如果承諾的突破得以實(shí)現(xiàn)，私營(yíng)公司及其投資者將獲得全部收益；但如果進(jìn)展停滯或未能達(dá)到預(yù)期，耗能巨大的數(shù)據(jù)中心和重新調(diào)整的產(chǎn)業(yè)政策所產(chǎn)生的沉沒成本，則由公共資產(chǎn)負(fù)債表買單。整個(gè)宏觀經(jīng)濟(jì)正被綁定在一個(gè)超級(jí)人工智能必然出現(xiàn)，這一我們尚未完全理解其基本物理規(guī)律的故事上。

我們必須認(rèn)識(shí)到這一過(guò)程是政治性的，而非技術(shù)性的。超級(jí)智能必然發(fā)生的敘事，是通過(guò)對(duì)特定的資金、注意力和合法性進(jìn)行選擇而制造出來(lái)的，不同的選擇將導(dǎo)致不同的未來(lái)。根本性的問題不在于超級(jí)智能是否會(huì)到來(lái)，而在于誰(shuí)從讓我們相信它會(huì)必然到來(lái)中獲益。

?Wenyi Geng

超級(jí)智能敘事之外被遺棄的現(xiàn)在

當(dāng)我們沉迷于假設(shè)的機(jī)器神明之時(shí)，現(xiàn)實(shí)中的AI系統(tǒng)正在以深刻且常常有害的方式重塑人類生活。關(guān)于超級(jí)智能的討論不僅轉(zhuǎn)移了人們對(duì)這些直接影響的注意力；甚至可以說(shuō)，它為這些影響提供了合法性。畢竟，如果我們正在競(jìng)相奔向AGI以拯救人類，那么過(guò)程中的些許附帶損害又算得了什么？

以勞動(dòng)為例，這一人類創(chuàng)造與再生產(chǎn)世界的根本活動(dòng)。AI系統(tǒng)已經(jīng)通過(guò)算法管理控制了數(shù)百萬(wàn)工人的日與夜。在亞馬遜倉(cāng)庫(kù)中，工人的行動(dòng)由手持設(shè)備決定，這些設(shè)備計(jì)算最優(yōu)路徑，監(jiān)控休息時(shí)間，并自動(dòng)解雇那些跟不上節(jié)奏的工人。雖然關(guān)于自動(dòng)化的文化討論常常強(qiáng)調(diào)它在取代人類勞動(dòng)這一點(diǎn)上的威脅，但對(duì)許多人來(lái)說(shuō)，殘酷的現(xiàn)實(shí)是自動(dòng)化已經(jīng)讓許多工人已成為算法的附屬品，執(zhí)行機(jī)器尚無(wú)法完成的任務(wù)，同時(shí)被計(jì)算系統(tǒng)衡量和監(jiān)控。

弗雷德里克·泰勒是19世紀(jì)的美國(guó)機(jī)械工程師，也是《科學(xué)管理原理》的作者，他因通過(guò)嚴(yán)格控制勞動(dòng)來(lái)實(shí)現(xiàn)最大效率而聞名。如今，我們所處的是一種以技術(shù)為中介的泰勒主義，工作被分解為微小的、經(jīng)過(guò)優(yōu)化的動(dòng)作，每一個(gè)動(dòng)作都被監(jiān)控和計(jì)時(shí)，唯一的區(qū)別在于，管理的鞭子從秒表變成了代碼。泰勒的邏輯已經(jīng)被以遠(yuǎn)超他本人想象的方式實(shí)踐和應(yīng)用。但當(dāng)我們討論人工智能與工作時(shí)，話題總會(huì)瞬間跳躍到“AGI是否會(huì)消滅所有工作”，仿佛當(dāng)下那些被算法驅(qū)使的工人的苦難，僅僅是通往廢棄途中的一個(gè)中轉(zhuǎn)站。

內(nèi)容審核產(chǎn)業(yè)是這個(gè)“被遺棄的現(xiàn)在”的縮影。數(shù)以十萬(wàn)計(jì)的工人，主要來(lái)自全球南方國(guó)家，每天查看人類所制造的最惡劣內(nèi)容——包括兒童虐待和性暴力，以訓(xùn)練人工智能系統(tǒng)識(shí)別和過(guò)濾此類材料。這些拿著硅谷同行零頭薪水的工人，承受著有據(jù)可查的心理創(chuàng)傷。他們是“人工智能安全”的幕后勞動(dòng)大軍，在保護(hù)用戶免受傷害的同時(shí)，自身卻遍體鱗傷。然而，他們的痛苦很少出現(xiàn)在人工智能倫理的討論中，因?yàn)槟抢锏挠懻摽偸菄@著如何防止超級(jí)智能在未來(lái)可能帶來(lái)的假設(shè)性危害。

監(jiān)控代表了另一個(gè)被未來(lái)主義猜想所掩蓋的現(xiàn)實(shí)。人工智能系統(tǒng)能對(duì)人類行為以前所未有地精確度進(jìn)行追蹤。人臉識(shí)別技術(shù)可以識(shí)別抗議者和異見人士。預(yù)測(cè)性警務(wù)算法將執(zhí)法資源引導(dǎo)至與種族人口統(tǒng)計(jì)數(shù)據(jù)神秘相關(guān)的一些“高風(fēng)險(xiǎn)”社區(qū)。邊境控制機(jī)構(gòu)利用人工智能通過(guò)語(yǔ)音分析和微表情來(lái)評(píng)估尋求庇護(hù)者的可信度。社會(huì)信用系統(tǒng)則通過(guò)分析個(gè)人的數(shù)字足跡，用算法對(duì)公民的可信度進(jìn)行評(píng)分。

這些并非是想象中的技術(shù)；它們已經(jīng)是實(shí)際部署的系統(tǒng)，它們不需要通用人工智能，只需要大規(guī)模的模式匹配。但在超級(jí)智能的話語(yǔ)體系中，監(jiān)控被處理為一種未來(lái)的風(fēng)險(xiǎn)（萬(wàn)一AGI監(jiān)控所有人呢？）而非當(dāng)前的現(xiàn)實(shí)。這種時(shí)間錯(cuò)位有利于當(dāng)權(quán)者，因?yàn)橛懻摷僭O(shè)性的全景監(jiān)獄，比拆除現(xiàn)有的監(jiān)控系統(tǒng)更容易。

算法偏見已滲透到關(guān)鍵的社會(huì)基礎(chǔ)設(shè)施中，通過(guò)賦予人類偏見以數(shù)學(xué)權(quán)威，放大并合理化了現(xiàn)有的不平等。人工智能行業(yè)的回應(yīng)是技術(shù)官僚式的：我們需要更好的數(shù)據(jù)集、更多樣化的團(tuán)隊(duì)和算法審核，這是用技術(shù)手段解決政治問題。與此同時(shí)，這些公司正爭(zhēng)先恐后地構(gòu)建AGI，卻大規(guī)模部署帶有偏見的系統(tǒng)，將當(dāng)前的傷害視為通向超越之路上的可接受代價(jià)。暴力是真實(shí)的，但解決方案卻始終被無(wú)限期地推遲。

而在這一切之下，隨著我們持續(xù)訓(xùn)練大語(yǔ)言模型，環(huán)境破壞正加速進(jìn)行。大語(yǔ)言模型的訓(xùn)練消耗了海量能源。當(dāng)被質(zhì)問這種生態(tài)代價(jià)時(shí)，人工智能公司便拋出假設(shè)性的紅利：例如AGI將解決氣候變化或優(yōu)化能源系統(tǒng)。他們用未來(lái)為現(xiàn)在開脫，仿佛這些投機(jī)性的收益應(yīng)該超過(guò)當(dāng)前實(shí)際發(fā)生的損害。這種時(shí)間上的把戲，以拯救世界之名行毀滅世界之實(shí)，如果不是后果是如此慘烈，倒也像是一出喜劇。

正如它侵蝕環(huán)境一樣，人工智能也在侵蝕民主。推薦算法早已通過(guò)制造過(guò)濾氣泡和放大極端主義重塑了政治話語(yǔ)，但最近，生成式人工智能則向信息空間中傾瀉了海量的內(nèi)容，使得人們難以區(qū)分真相與虛假信息。公共領(lǐng)域是民主生活的基礎(chǔ)，它依賴于人們有共享足夠的信息以便進(jìn)行公共討論。

當(dāng)人工智能系統(tǒng)將公民細(xì)分到越來(lái)越狹窄的信息流時(shí)，這個(gè)共享空間就崩塌了。我們不再爭(zhēng)論相同的事實(shí)，因?yàn)槲覀儾辉偕硖幫粋€(gè)世界。然而，我們關(guān)于治理的討論卻聚焦于“如何防止AGI在未來(lái)摧毀民主”，而非解決“當(dāng)前的 AI系統(tǒng)如何正在瓦解民主”。我們爭(zhēng)論人工智能對(duì)齊問題，卻忽視了在關(guān)鍵問題上，在人類之間需開展的對(duì)齊，例如人工智能系統(tǒng)是否應(yīng)該服務(wù)于民主價(jià)值，而不是企業(yè)利潤(rùn)。設(shè)想中的超級(jí)智能專制掩蓋了現(xiàn)實(shí)中的監(jiān)控資本主義專制。

隨著人類適應(yīng)算法做出的判斷，人工智能對(duì)心理健康造成的影響逐漸累積。為最大化參與度而優(yōu)化的社交媒體算法，推流著引發(fā)焦慮、抑郁和飲食障礙的內(nèi)容。年輕人將算法定義的指標(biāo)，例如點(diǎn)贊、分享和觀看次數(shù)內(nèi)化為衡量自我價(jià)值的標(biāo)準(zhǔn)。通過(guò)人工智能系統(tǒng)對(duì)社會(huì)生活的量化，產(chǎn)生了新的異化和痛苦形式，但這些即時(shí)的心理危害與人們想象中的存在性風(fēng)險(xiǎn)相比微不足道，而后者卻獲得了遠(yuǎn)多于預(yù)防假設(shè)的超級(jí)智能災(zāi)難所應(yīng)投入的關(guān)注和資源。

這些當(dāng)前的危害都可以通過(guò)集體行動(dòng)來(lái)應(yīng)對(duì)。我們可以規(guī)范算法管理，支持內(nèi)容審核員，限制監(jiān)控，審查偏見，控制能源使用，保護(hù)民主并優(yōu)先考慮心理健康。這些并非需要超級(jí)智能才能解決的技術(shù)難題，而是需要民主介入的、老派的政治挑戰(zhàn)。然而，超級(jí)智能的討論卻讓這些平凡的干預(yù)措施顯得幾乎過(guò)時(shí)。當(dāng)工作本身可能很快就會(huì)消失，為什么我們還要重新組織工作場(chǎng)所？當(dāng)AGI可能已經(jīng)能監(jiān)控我們的思想，我們?yōu)槭裁催€要對(duì)監(jiān)控加以監(jiān)管？當(dāng)超級(jí)智能可能完全超越人類的偏見，我們?yōu)槭裁催€要處理當(dāng)下的偏見？

這個(gè)被遺棄的當(dāng)下，充滿了可以通過(guò)人類選擇而非機(jī)器超越來(lái)緩解的痛苦，而我們每花一分鐘討論尚未存在的AGI對(duì)齊問題，就等于少花一分鐘去應(yīng)對(duì)此刻正傷害著數(shù)百萬(wàn)人的算法暴行。未來(lái)導(dǎo)向的超級(jí)人工智能敘事不僅僅是干擾，而是一種遺棄，是一種故意的背過(guò)身去，逃避當(dāng)下的責(zé)任，以此換取臆想中的赦免。

人工智能時(shí)代的替代想象

超級(jí)智能敘事的主導(dǎo)地位掩蓋了一個(gè)事實(shí)：AI 的道路不止一條。存在著許多基于當(dāng)下社會(huì)需求、而非膜拜假設(shè)中機(jī)器神明的替代路徑。這些替代方案表明，你不必非得加入那場(chǎng)通往超級(jí)智能的亡命賽跑，也不必徹底背棄技術(shù)。此時(shí)此刻，我們完全可以以不同的方式構(gòu)建和治理自動(dòng)化。

全球各地，社區(qū)已經(jīng)開始嘗試不同的數(shù)據(jù)組織和自動(dòng)化方式。例如，原生數(shù)據(jù)主權(quán)運(yùn)動(dòng)（Indigenous Data Sovereignty）已經(jīng)發(fā)展出治理框架、數(shù)據(jù)平臺(tái)和研究協(xié)議，將數(shù)據(jù)視為一種需要集體同意的公有資源。加拿大首個(gè)信息治理中心（First Nations Information Governance Centre）和新西蘭的Te Mana Raraunga等組織堅(jiān)持認(rèn)為，數(shù)據(jù)項(xiàng)目（包括那些涉及AI的項(xiàng)目）必須對(duì)其關(guān)系、歷史和義務(wù)負(fù)責(zé)，而不僅僅是對(duì)優(yōu)化指標(biāo)和規(guī)模擴(kuò)張負(fù)責(zé)。他們的項(xiàng)目提供了自動(dòng)系統(tǒng)的設(shè)計(jì)實(shí)例，這些系統(tǒng)旨在尊重文化價(jià)值并加強(qiáng)地方自主性，這與有效利他主義的沖動(dòng)形成鏡像，不會(huì)為了假設(shè)的未來(lái)人群而抽象地脫離具體地點(diǎn)。

工人也在嘗試不同的安排，工會(huì)和勞工組織正在就算法管理協(xié)商條款，爭(zhēng)取對(duì)工作場(chǎng)所系統(tǒng)的審計(jì)權(quán)，并開始建立由工人控制的數(shù)據(jù)信托，以管理他們的信息如何被使用。這些舉措源于實(shí)際生活經(jīng)驗(yàn)，而非哲學(xué)推測(cè)，它們來(lái)自那些每天都在算法監(jiān)控之下生活的人們，他們決心重新設(shè)計(jì)管理他們生存的系統(tǒng)。而當(dāng)科技高管因?qū)GI的推測(cè)而受到贊譽(yù)時(shí)，那些分析已有系統(tǒng)的人們卻容易被輕易地視為盧德主義者。

類似的實(shí)驗(yàn)也出現(xiàn)在以女性主義和殘障為中心的技術(shù)項(xiàng)目中，這些項(xiàng)目圍繞關(guān)懷、可及性和認(rèn)知多樣性構(gòu)建工具；還出現(xiàn)在全球南方的倡議中，這些倡議使用適度、由本地社區(qū)管理的AI系統(tǒng)，在資源有限的情況下支持醫(yī)療、農(nóng)業(yè)或教育。不關(guān)注增長(zhǎng)的技術(shù)專家正在設(shè)計(jì)低功耗、社區(qū)托管的模型和數(shù)據(jù)中心，旨在嵌入生態(tài)極限之中，而非試圖凌駕其上。這些案例表明，批判與行動(dòng)主義完全可以轉(zhuǎn)化為具體的基礎(chǔ)設(shè)施和制度安排，證明了AI的組織方式不必默認(rèn)那個(gè)“為了少數(shù)科技兄弟眼中的大善而犧牲所有人”的超級(jí)智能范式。

這些多樣化的想象——原生數(shù)據(jù)治理、工人主導(dǎo)的數(shù)據(jù)信托以及為全球南方設(shè)計(jì)的AI項(xiàng)目，其共同點(diǎn)在于對(duì)“智能”本身的另一種理解。他們并不將智能視為一種抽象的、脫離身體的、能夠優(yōu)化所有領(lǐng)域的能力，而是將其視為一種與特定情境緊密關(guān)聯(lián)的、具有關(guān)系性和具身性的能力。他們關(guān)注的是真實(shí)存在的社區(qū)及其現(xiàn)實(shí)需求，而非假設(shè)的人類面對(duì)假設(shè)的機(jī)器。正因如此，它們與在超級(jí)智能的宏大敘事相對(duì)比時(shí)顯得謙遜，畢竟，存在性風(fēng)險(xiǎn)讓所有其他擔(dān)憂都顯得微不足道。你幾乎能聽到那些反駁：當(dāng)工作本身都快消失了，談?wù)摴と藱?quán)利有何意義？當(dāng)AGI被設(shè)想為能夠按需解決氣候變化問題時(shí)，為何還要考慮環(huán)境限制？

這些替代方案也揭示了超級(jí)智能敘事中的民主缺失。將人工智能同時(shí)包裝為普通人無(wú)法理解的神秘技術(shù)問題，以及不可置疑的社會(huì)進(jìn)步引擎，使得權(quán)力得以在系統(tǒng)擁有者和構(gòu)建者手中高度集中。一旦算法參與到溝通、就業(yè)、福利、執(zhí)法和公共討論，它們就成為政治機(jī)構(gòu)。這種權(quán)力結(jié)構(gòu)是封建式的，一小撮企業(yè)精英憑借“特殊知識(shí)”和“末日緊迫感”壟斷決策權(quán)，而公民和納稅人則被告知他們無(wú)法理解這些技術(shù)復(fù)雜性，且任何減速都是在全球競(jìng)賽中的不負(fù)責(zé)任。其結(jié)果是習(xí)得性無(wú)助，一種認(rèn)為技術(shù)未來(lái)無(wú)法通過(guò)民主方式塑造，只能被托付給那些“遠(yuǎn)見卓識(shí)”的工程師的宿命感。

一種民主的方法會(huì)顛倒這種邏輯，認(rèn)識(shí)到關(guān)于監(jiān)控、工作自動(dòng)化、公共服務(wù)，甚至對(duì)超級(jí)智能的追求等問題，并不是工程難題，而是價(jià)值選擇。公民不需要理解反向傳播算法，就可以討論預(yù)測(cè)性警務(wù)是否應(yīng)該存在，正如他們不需要理解熱力學(xué)，就可以辯論交通政策。民主，要求我們要有權(quán)塑造集體生活的條件，其中必然包括人工智能的架構(gòu)。

這可以有多種形式。工人可以參與關(guān)于算法管理的決策。社區(qū)可以根據(jù)自身優(yōu)先事項(xiàng)管理本地?cái)?shù)據(jù)。關(guān)鍵的計(jì)算資源可以由公共或合作方式擁有，而不是集中在少數(shù)公司手中。市民大會(huì)可以被賦予實(shí)際的決策權(quán)，決定一個(gè)城市是否推進(jìn)有爭(zhēng)議的AI應(yīng)用，例如人臉識(shí)別和預(yù)測(cè)性警務(wù)。開發(fā)者可以在預(yù)防性框架下被要求在部署前證明其安全性。國(guó)際協(xié)議可以對(duì)AI研究中最危險(xiǎn)的領(lǐng)域設(shè)定限制。所有這些都不是在討論AGI或其他可以想象的超級(jí)智能是否會(huì)或不會(huì)出現(xiàn)；它只關(guān)乎一個(gè)認(rèn)知：技術(shù)權(quán)力的分配是一種政治選擇，而非不可避免的宿命。

超級(jí)智能的敘事通過(guò)將集中權(quán)力描繪為悲劇性的必然，削弱了這些民主實(shí)踐的可能性。如果人類滅絕近在咫尺，公眾商議便成了我們負(fù)擔(dān)不起的奢侈品。如果AGI是不可避免的，那么治理權(quán)就必須讓渡給那些正在競(jìng)相構(gòu)建它的群體。這種敘事制造緊迫感，以合理化對(duì)民主的侵蝕。于是，最初關(guān)于假設(shè)性機(jī)器的故事，最終卻演變?yōu)殛P(guān)于現(xiàn)實(shí)政治權(quán)力喪失的故事。歸根結(jié)底，更大的風(fēng)險(xiǎn)在于，當(dāng)我們忙著辯論虛構(gòu)的未來(lái)心智如何對(duì)齊時(shí)，我們卻忽視了現(xiàn)有制度的對(duì)齊問題。

事實(shí)是，除了技術(shù)變革本身是必然的之外，關(guān)于我們技術(shù)未來(lái)的任何事情都不是必然的。變化是確定的，但其方向卻未必。我們尚未理解自己正在構(gòu)建什么樣的系統(tǒng)，或者它們將產(chǎn)生怎樣的，突破與失敗相互交織的未來(lái)。這種不確定性使得將公共資源和注意力孤注一擲于單一的推測(cè)性路徑，顯得尤為魯莽。

每一個(gè)算法都蘊(yùn)含著關(guān)于價(jià)值和受益者的選擇。超級(jí)智能的敘事試圖用宿命的薄紗掩蓋這些抉擇，但替代性的想象——原生治理、工人主導(dǎo)的設(shè)計(jì)、女性主義與殘障正義、基于公共領(lǐng)域的AI模式以及生態(tài)約束卻提醒我們，其他路徑是可能的，并且已經(jīng)在構(gòu)建之中。

真正的政治問題，不是某種人工超級(jí)智能是否會(huì)涌現(xiàn)，而是誰(shuí)有權(quán)決定我們構(gòu)建和維持何種智能？答案不能留給那些宣揚(yáng)“人工超越，世界滅亡”的企業(yè)先知，因?yàn)锳I的未來(lái)是一個(gè)政治場(chǎng)域，它應(yīng)該開放給各種觀點(diǎn)加以爭(zhēng)論。它不屬于那些以最大聲警告神明或怪物的人，而應(yīng)屬于那些擁有道德權(quán)利，能夠通過(guò)民主治理塑造他們生活的技術(shù)的公眾。

譯者的話

在最近一年中，你有多少次聽到超級(jí)智能，對(duì)齊的討論，在你看到那些大佬們預(yù)測(cè)2027年即將降臨的超級(jí)智能時(shí)，是否忘記了一個(gè)基本事實(shí)：我們至今仍不知道如何制造一個(gè)超級(jí)智能，一切關(guān)于它的討論，本質(zhì)上都是建立在沙堆之上的假設(shè)。

這篇長(zhǎng)文揭示了一種人類歷史中少見的現(xiàn)象。當(dāng)賣傘的人擁有了人工降雨的能力，我們是否應(yīng)當(dāng)對(duì)他們兜售雨傘的動(dòng)機(jī)保持警惕？工業(yè)革命時(shí)，工廠主不會(huì)說(shuō)會(huì)有一種將要取代一切勞動(dòng)力的機(jī)器，以此勸誘工人“現(xiàn)在苦一苦，好日子就在后頭”。正是由于缺少對(duì)烏托邦未來(lái)的想象，工人們才為了自己的權(quán)益爭(zhēng)取，才有了如今的五一勞動(dòng)節(jié)。

晚期資本主義的可怕，在于其對(duì)思想的隱性控制是潛移默化的，是通過(guò)議題設(shè)置，偷換概念等手段完成的。當(dāng)OpenAI不再開源，當(dāng)科技巨頭為了曝光，而發(fā)布的關(guān)于超級(jí)智能，AI安全等研究時(shí)，我們不應(yīng)當(dāng)遺忘那些持續(xù)承諾開源的中國(guó)企業(yè)，那些關(guān)注AI在具體場(chǎng)景中應(yīng)用的小微甚至個(gè)人開發(fā)者。

當(dāng)西方主流敘事將超級(jí)智能描繪成《指環(huán)王》中的至尊魔戒，能夠掌管一切時(shí)，我們不應(yīng)當(dāng)無(wú)條件的遵循，而應(yīng)替人類去探索另一條基于本體，立足場(chǎng)景的全新AI應(yīng)用之路。謹(jǐn)以此作為翻譯這篇長(zhǎng)文的初心與愿景。

https://www.noemamag.com/the-politics-of-superintelligence/

關(guān)于追問nextquestion

天橋腦科學(xué)研究院旗下科學(xué)媒體，旨在以科學(xué)追問為紐帶，深入探究人工智能與人類智能相互融合與促進(jìn)，不斷探索科學(xué)的邊界。歡迎評(píng)論區(qū)留言，或后臺(tái)留言“社群”即可加入社群與我們互動(dòng)。您也可以在后臺(tái)提問，我們將基于追問知識(shí)庫(kù)為你做出智能回復(fù)哦~

關(guān)于天橋腦科學(xué)研究院

天橋腦科學(xué)研究院（Tianqiao and Chrissy Chen Institute）是由陳天橋、雒芊芊夫婦出資10億美元?jiǎng)?chuàng)建的世界最大私人腦科學(xué)研究機(jī)構(gòu)之一，圍繞全球化、跨學(xué)科和青年科學(xué)家三大重點(diǎn)，支持腦科學(xué)研究，造福人類。

Chen Institute與華山醫(yī)院、上海市精神衛(wèi)生中心設(shè)立了應(yīng)用神經(jīng)技術(shù)前沿實(shí)驗(yàn)室、人工智能與精神健康前沿實(shí)驗(yàn)室；與加州理工學(xué)院合作成立了加州理工天橋神經(jīng)科學(xué)研究院。

Chen Institute建成了支持腦科學(xué)和人工智能領(lǐng)域研究的生態(tài)系統(tǒng)，項(xiàng)目遍布?xì)W美、亞洲和大洋洲，包括、、、科研型臨床醫(yī)生獎(jiǎng)勵(lì)計(jì)劃、、、科普視頻媒體「大圓鏡」等。