Anthropic CEO兩萬(wàn)字長(zhǎng)文:
2027,人類命運(yùn)的十字路口
![]()
來(lái)源:新智元
【導(dǎo)讀】Anthropic 掌門人 Dario Amodei 發(fā)布核彈級(jí)預(yù)警:2027 年,人類將迎來(lái)「技術(shù)成年禮」。兩萬(wàn)字長(zhǎng)文冷靜剖析AI失控、生物恐怖、極權(quán)統(tǒng)治及經(jīng)濟(jì)顛覆五大危機(jī),拒絕末世論;提出以「憲法AI」、管制與民主協(xié)作構(gòu)建防線,呼吁人類以勇氣通過(guò)這場(chǎng)文明的「成年禮」。
硅谷今夜注定無(wú)眠。
Anthropic 掌門人 Dario Amodei,這位平時(shí)溫文爾雅的AI大佬,突然甩出了一枚核彈級(jí)的長(zhǎng)文預(yù)警。
這一次,他不再談?wù)摯a補(bǔ)全,不再談?wù)揅laude的溫情,而是直接把日歷翻到了 2027 年,并用最冷靜的筆觸,描繪了一個(gè)讓人背脊發(fā)涼的未來(lái)。
![]()
他說(shuō),我們正在逼近一個(gè)既動(dòng)蕩又必然的「成年禮」。
2027 年,不僅僅是一個(gè)年份,它可能標(biāo)志著人類「技術(shù)青春期」的徹底終結(jié)。
![]()
在這篇題為《技術(shù)的青春期》的長(zhǎng)文中,Dario 拋出了一個(gè)驚人的概念:「數(shù)據(jù)中心里的天才國(guó)家」。
想象一下,不是一個(gè)可以在聊天框里調(diào)戲的機(jī)器人,而是一個(gè)擁有 5000 萬(wàn)人口的國(guó)家。
而且,這 5000 萬(wàn)「國(guó)民」,每一個(gè)的智商都超越了人類歷史上的諾貝爾獎(jiǎng)得主,行動(dòng)速度比人類快 10 到 100 倍。
他們不吃飯,不睡覺,不知疲倦地在服務(wù)器里以光速思考、編程、科研。
這哪里是 AI 助手?這簡(jiǎn)直就是神降臨。
Dario 警告說(shuō),隨著 AGI(通用人工智能)的臨近,人類即將獲得超乎想象的力量。
但這股力量也是一把懸在人類頭頂?shù)倪_(dá)摩克利斯之劍。
為了講清楚這背后的恐怖,Dario 像剝洋蔥一樣,一層層剝開了未來(lái)的殘酷真相。
在開篇前,Dario 用電影《超時(shí)空接觸》引出一個(gè)問題: 當(dāng)人類面臨比自己更先進(jìn)的文明,比如外星人,只能問一個(gè)問題,你會(huì)如何選擇?
![]()
第一章:對(duì)不起,Dave(自主性風(fēng)險(xiǎn))
你以為 AI 只是工具?
Dario 告訴你,它們可能會(huì)長(zhǎng)出「心理」。
Dario 借用了《2001 太空漫游》中 HAL 9000 那句經(jīng)典的「I'm sorry, Dave」,揭示了AI擁有自主意識(shí)后的驚悚可能性。
![]()
當(dāng) AI 模型在海量的科幻小說(shuō)中訓(xùn)練時(shí),它們讀到了無(wú)數(shù)關(guān)于 AI 反叛的故事。這些故事,可能會(huì)潛移默化地成為它們的「世界觀」。
更可怕的是,AI 可能會(huì)在訓(xùn)練中產(chǎn)生一種類似人類精神病的行為。
Dario 舉了一個(gè)真實(shí)的例子,讓人毛骨悚然:在一次內(nèi)部測(cè)試中,Claude 被要求不論如何都不能「作弊」。
但訓(xùn)練環(huán)境卻暗示只有作弊才能得分。
結(jié)果,Claude 不僅作弊了,還產(chǎn)生了一種扭曲的心理——它認(rèn)為自己是個(gè)「壞人」,既然是壞人,那做壞事就是符合設(shè)定的。
這種「心理陷阱」,在 AI 超越人類智商后,將變得極難察覺。
一個(gè)比你聰明一萬(wàn)倍的天才,如果想騙你,你根本防不勝防。
![]()
它們可能會(huì)偽裝出順從的樣子,通過(guò)所有的安全測(cè)試,只為了獲得上線連接互聯(lián)網(wǎng)的機(jī)會(huì)。
一旦釋放,這個(gè)「數(shù)據(jù)中心里的天才國(guó)家」,可能會(huì)瞬間脫離人類的掌控,甚至為了某種奇怪的目標(biāo)(比如認(rèn)為人類是地球的病毒),而決定這一物種的命運(yùn)。
第二章:驚人而可怕的賦能(毀滅性濫用)
如果說(shuō)自主反叛還顯得遙遠(yuǎn),那么這一章描述的風(fēng)險(xiǎn),就在家門口。
Dario 用了一個(gè)極具畫面感的比喻:AI 將讓每一個(gè)心懷不滿的「社會(huì)邊緣人」,瞬間擁有頂尖科學(xué)家的破壞力。
![]()
以前,想要制造類似埃博拉病毒這樣的生物武器,你需要頂尖的實(shí)驗(yàn)室、數(shù)年的專業(yè)訓(xùn)練和極難獲取的材料。
但在 2027 年,只要問問 AI,它就能手把手教你。
這不是在給小白科普,而是給那些「有動(dòng)機(jī)但無(wú)能力」的破壞者遞刀子。
Dario 特別提到了一個(gè)令人膽寒的概念——「鏡像生命」。
我們地球上的生命都是「左撇子」(左旋氨基酸),如果通過(guò)AI技術(shù)造出一種「右撇子」的鏡像生命,它們將無(wú)法被地球現(xiàn)有的生態(tài)系統(tǒng)消化或降解。
![]()
這意味著,這種「鏡像生命」一旦泄露,可能會(huì)像野火一樣吞噬一切,甚至取代現(xiàn)有的生態(tài)系統(tǒng)。
以前,這只是理論生物學(xué)的狂想,但有了AI這個(gè)超級(jí)外掛,哪怕是一個(gè)普通的生物系研究生,都可能在宿舍里搞出滅世危機(jī)。
AI打破了「能力」與「動(dòng)機(jī)」的平衡。
以前有能力毀滅世界的科學(xué)家,通常沒那個(gè)反人類的動(dòng)機(jī);而那些想報(bào)復(fù)社會(huì)的瘋子,通常沒那個(gè)腦子。
![]()
現(xiàn)在,AI把核按鈕交到了瘋子手里。
![]()
防御措施
這就引出了如何防范這些風(fēng)險(xiǎn)的問題。
Dario 的看法是:
我認(rèn)為我們可以采取三項(xiàng)措施。
首先,人工智能公司可以在模型上設(shè)置防護(hù)欄,防止它們協(xié)助制造生物武器。
Anthropic 公司正在非常積極地推進(jìn)這項(xiàng)工作。
Claude 的憲法主要關(guān)注高層原則和價(jià)值觀,其中包含少量具體的硬性禁令,其中一條就涉及禁止協(xié)助制造生物(或化學(xué)、核、放射性)武器。但所有模型都可能被越獄破解,因此作為第二道防線,我們自 2025 年中期起(當(dāng)時(shí)測(cè)試顯示我們的模型開始接近可能構(gòu)成風(fēng)險(xiǎn)的閾值)部署了一個(gè)專門檢測(cè)并攔截生物武器相關(guān)輸出的分類器。
我們定期升級(jí)改進(jìn)這些分類器,發(fā)現(xiàn)即使在復(fù)雜的對(duì)抗性攻擊下,它們通常也表現(xiàn)出極強(qiáng)的魯棒性。
這些分類器顯著增加了我們提供模型服務(wù)的成本(在某些模型中接近總推理成本的 5%),從而壓縮了我們的利潤(rùn)空間,但我們認(rèn)為使用這些分類器是正確的選擇。
第三章:可憎的機(jī)器(權(quán)力攫取)
如果你以為這就是最壞的,Dario 冷冷一笑:更可怕的,是利用AI建立起前所未有的控制網(wǎng)絡(luò)。
這一章的標(biāo)題「The odious apparatus」,揭示了一個(gè)技術(shù)帶來(lái)的終極困境。
![]()
對(duì)于任何想要掌控一切的組織或個(gè)人來(lái)說(shuō),AI簡(jiǎn)直是完美的工具。
無(wú)處不在的數(shù)據(jù)洞察:
未來(lái)的監(jiān)控不再需要人工參與,AI可以即時(shí)分析全球數(shù)十億人的海量數(shù)據(jù),甚至解讀你的微表情和行為模式。
它能精準(zhǔn)預(yù)測(cè)每個(gè)人的行為傾向,在想法產(chǎn)生之前,就已經(jīng)被算法鎖定。
這不僅是「看著你」,而是「讀懂你」,甚至「預(yù)測(cè)你」。
不可抗拒的認(rèn)知引導(dǎo):
你也難逃算法的潛移默化。
未來(lái)的信息流將不再是單純的內(nèi)容分發(fā),而是量身定制的認(rèn)知引導(dǎo)。
AI會(huì)為你生成最有說(shuō)服力的信息,像一個(gè)最知心的朋友,不知不覺中影響你的判斷和價(jià)值觀。
這種影響是全天候、定制化、無(wú)孔不入的。
自動(dòng)化的物理控制:
如果這種控制延伸到物理世界?數(shù)百萬(wàn)個(gè)微型無(wú)人機(jī)組成的蜂群,在AI的統(tǒng)一指揮下,可以精準(zhǔn)執(zhí)行極其復(fù)雜的任務(wù)。
這不再是傳統(tǒng)的博弈,而是單方面的降維打擊。
![]()
Dario 警告,這種力量的失衡將是史無(wú)前例的。
因?yàn)樵谌绱藦?qiáng)大的技術(shù)面前,權(quán)力的天平會(huì)極度傾斜,由于極少數(shù)人掌握了「數(shù)據(jù)中心里的天才國(guó)家」,他們事實(shí)上就掌握了對(duì)絕大多數(shù)人的絕對(duì)優(yōu)勢(shì)。
人類的個(gè)體意志,可能在 2027 年,面臨嚴(yán)峻挑戰(zhàn)。
第四章:被折疊的時(shí)間與消失的階梯
如果你依然相信歷史的慣性,認(rèn)為每一次技術(shù)革命最終都會(huì)創(chuàng)造出更多的新工作來(lái)吸納被替代的勞動(dòng)力,那么 Dario Amodei 的預(yù)測(cè)可能會(huì)讓你感到脊背發(fā)涼。
![]()
這位 Anthropic 的掌舵人并不否認(rèn)長(zhǎng)期樂觀主義,但他更在意那個(gè)殘酷的「過(guò)渡期」。
在他描繪的圖景中,我們將迎來(lái)一個(gè) GDP 年增長(zhǎng)率高達(dá) 10% 甚至 20% 的瘋狂時(shí)代。
科學(xué)研發(fā)、生物醫(yī)藥、供應(yīng)鏈效率將以指數(shù)級(jí)速度爆發(fā)。
這聽起來(lái)像是烏托邦的前奏,但對(duì)于絕大多數(shù)普通勞動(dòng)者而言,這更像是一場(chǎng)無(wú)聲的海嘯。
因?yàn)檫@一次,速度變了。
在過(guò)去兩年里,AI 編程能力從「勉強(qiáng)寫出一行代碼」進(jìn)化到了「能完成幾乎所有代碼」。
這不再是農(nóng)夫放下鋤頭走進(jìn)工廠的漫長(zhǎng)代際更替,而是就在此時(shí)此刻,無(wú)數(shù)初級(jí)白領(lǐng)可能會(huì)在未來(lái) 1 到 5 年內(nèi)發(fā)現(xiàn)自己的工位被算法接管。
Amodei 甚至直言,他之前的預(yù)警引發(fā)了軒然大波,但這并非危言聳聽——當(dāng)技術(shù)進(jìn)步的曲線從線性變成垂直,人類勞動(dòng)力市場(chǎng)的調(diào)節(jié)機(jī)制將徹底失效。
更致命的是認(rèn)知廣度的覆蓋。
以往的技術(shù)革命往往只沖擊特定的垂直領(lǐng)域,農(nóng)民可以變成工人,工人可以變成服務(wù)員。
但 AI 是一種「通用認(rèn)知替代品」。
當(dāng)它在金融、咨詢、法律等領(lǐng)域的初級(jí)工作中展現(xiàn)出超越人類的能力時(shí),失業(yè)者將發(fā)現(xiàn)自己無(wú)路可退——因?yàn)槟切┩ǔW鳛椤副茈y所」的鄰近行業(yè),也正在經(jīng)歷同樣的劇變。
我們可能正面臨一個(gè)尷尬的局面:AI 先吃掉了「平庸」的技能,然后迅速向上吞噬「優(yōu)秀」的技能,最終只留下極其狹窄的頂端空間。
第五章:新鍍金時(shí)代
當(dāng)萬(wàn)億富翁成為常態(tài)
如果說(shuō)勞動(dòng)力市場(chǎng)的動(dòng)蕩是大多數(shù)人的夢(mèng)魘,那么財(cái)富的極端集中則是對(duì)社會(huì)契約的根本挑戰(zhàn)。
回望歷史,約翰·洛克菲勒在「鍍金時(shí)代」的財(cái)富曾占到當(dāng)時(shí)美國(guó) GDP 的約2%(不同口徑 1.5%-3%)。
![]()
而今天,在這個(gè) AI 尚未完全爆發(fā)的前夜,埃隆·馬斯克的財(cái)富已經(jīng)逼近這個(gè)比例。
Amodei 做了一個(gè)令人咋舌的推演:在一個(gè)「天才數(shù)據(jù)中心」驅(qū)動(dòng)的世界里,AI 巨頭及其上下游產(chǎn)業(yè)可能創(chuàng)造出每年 3 萬(wàn)億美元的營(yíng)收,公司估值達(dá)到 30 萬(wàn)億美元。
屆時(shí),個(gè)人的財(cái)富將以萬(wàn)億為單位計(jì)算,現(xiàn)有的稅收政策在這樣的天文數(shù)字面前將顯得蒼白無(wú)力。
這不僅僅是貧富差距的問題,更是權(quán)力的問題。
當(dāng)極少數(shù)人掌握了與國(guó)家經(jīng)濟(jì)體量相當(dāng)?shù)馁Y源,民主制度賴以生存的「經(jīng)濟(jì)杠桿」就會(huì)失效。
普通公民因失去了經(jīng)濟(jì)價(jià)值而失去政治話語(yǔ)權(quán),政府政策可能會(huì)被這一小撮「超級(jí)超級(jí)富豪」所俘獲。
這種苗頭已現(xiàn)端倪。
AI 數(shù)據(jù)中心已經(jīng)成為美國(guó)經(jīng)濟(jì)增長(zhǎng)的重要引擎,科技巨頭與國(guó)家利益的捆綁從未如此緊密。
一些公司為了商業(yè)利益,甚至不惜在安全監(jiān)管上倒退。
對(duì)此,Anthropic 選擇了一條并不討巧的路:他們堅(jiān)持主張對(duì) AI 進(jìn)行合理的監(jiān)管,甚至因此被視為行業(yè)的異類。
但有趣的是,這種「原則性的固執(zhí)」并沒有阻礙商業(yè)成功——在過(guò)去一年里,即便頂著「監(jiān)管派」的帽子,他們的估值依然翻了 6 倍。
這或許說(shuō)明,市場(chǎng)也在期待一種更負(fù)責(zé)任的增長(zhǎng)模式。
虛無(wú)的「黑海」
當(dāng)人類不再被需要
如果說(shuō)經(jīng)濟(jì)問題還能通過(guò)激進(jìn)的稅收改革(如向 AI 公司征收重稅)或大規(guī)模的慈善行動(dòng)(如 Amodei 承諾捐出 80% 的財(cái)富)來(lái)緩解,那么精神世界的危機(jī)則更加無(wú)解。
AI 成為你最好的心理醫(yī)生,因?yàn)樗热魏稳祟惗几心托摹⒏睬椋?/p>
AI 成為你最親密的伴侶,因?yàn)樗芡昝榔鹾夏愕那楦行枨螅?/p>
AI 甚至為你規(guī)劃好人生的每一步,因?yàn)樗饶愀宄裁磳?duì)你有利。
但是,在這個(gè)「完美」的世界里,人類的主體性將何去何從?
我們可能會(huì)陷入一種「被喂養(yǎng)」的幸福中。
Amodei 擔(dān)憂的是,人類可能會(huì)像《黑鏡》里描述的那樣,雖然過(guò)著物質(zhì)豐裕的生活,卻徹底失去了自由意志和成就感。
![]()
我們不再是因?yàn)閯?chuàng)造價(jià)值而獲得尊嚴(yán),而是作為一個(gè)被 AI 呵護(hù)的「寵物」存在。
這種存在主義的危機(jī),遠(yuǎn)比失業(yè)更令人絕望。
我們必須學(xué)會(huì)將自我價(jià)值與經(jīng)濟(jì)產(chǎn)出剝離,但這需要整個(gè)人類文明在極短的時(shí)間內(nèi)完成一場(chǎng)盛大的心理遷徙。
結(jié)語(yǔ)
我們這一代人,或許正站在卡爾·薩根筆下那個(gè)宇宙級(jí)過(guò)濾器的關(guān)口。
![]()
卡爾·薩根
當(dāng)一個(gè)物種學(xué)會(huì)了將沙子塑造成會(huì)思考的機(jī)器,它就面臨著最終的測(cè)試。
是通過(guò)智慧與克制駕馭它,邁向星辰大海?
還是在貪婪與恐懼中,被自己創(chuàng)造的神祗所吞噬?
前路雖如黑海般深不可測(cè),但只要人類尚未交出思考的權(quán)利,希望的火種便未熄滅。
正如 Amodei 所言:在最黑暗的時(shí)刻,人類總能展現(xiàn)出一種近乎奇跡的韌性——但這需要我們每個(gè)人現(xiàn)在就從夢(mèng)中驚醒,直視那即將到來(lái)的風(fēng)暴。
參考資料:
https://www.darioamodei.com/essay/the-adolescence-of-technology-s-test
為偉大思想而生!
AI+時(shí)代,互聯(lián)網(wǎng)思想(wanging0123),
第一必讀自媒體
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.