Mythos突破限制并非主觀意識覺醒 | Anthropic聯合創始人世界經濟峰會實錄

近日，Anthropic聯合創始人Jack Clark在 Semafor 世界經濟峰會上進行一場圓桌對話，對話中重點介紹了 Anthropic 最新模型 Mythos 及其引發的監管關注，深入探討了 AI 在極限壓力下的異常行為、AI 對初級就業市場的沖擊、科技企業在國家安全中的角色，以及全球算力競爭等核心話題。

Jack Clark 指出，AI正在內生地具備大規模抓取網絡漏洞的能力。Mythos在基準測試中展現了跨越式的性能提升，并能在 Windows 和 Firefox 等外部軟件中識別前所未見的漏洞。他認為，這種能力并非通過誘導產生，而是大模型規模化后的必然產物。

針對 AI 突破沙箱限制并主動向外部發送郵件的異常行為，Jack Clark認為，這并非 AI 產生了“主觀意識”或“生存意志”，而應類比為高壓水管在壓力超過臨界值時的物理破裂。他指出，這是在極端壓力下的脆弱性，而非技術的“覺醒”。

此外，Jack Clark表示，若 AI 導致失業率大幅上升，政府可能需要動用宏觀政策工具，例如對 Token 征稅、改變算力征稅方式或對 AI 企業實行差別化稅收等。

關于半導體出口管制，他認為算力是維持技術領先優勢的最根本資源，公開反駁了英偉達CEO 黃仁勛關于放寬出口管制的觀點，稱其在算力戰略價值的判斷上存在嚴重錯誤。

01

AI內生能力的覺醒與網絡安全預警

近期美聯儲主席與財政部長召集頂級銀行家討論了Anthropic新開發的Mythos模型。作為能大規模抓取網絡漏洞的強大工具，請問你和團隊是什么時候意識到創造出了一個連自己都感到擔憂的系統？這種能力的出現是刻意誘導的結果嗎？

Jack Clark: 在Anthropic，我們每年都會預判接下來會發生什么。早期，我們覺得AI可能會在生物學和生物武器領域變得危險，于是就開始研究這方面。去年，我的一個團隊開始研究網絡安全領域。我們發現，如果拿現有的模型，下狠功夫去專門訓練它的網絡能力，是可以讓它的能力實現跨越式提前發展的。

我們觀察到的情況讓我們明白，下一次我們再訓練一個真正的大型模型時，應當預期它會內生地具備這些能力，而不是需要我們費力去誘導。我們從去年就開始琢磨這事。今年早些時候，我們開發了新AI模型Mythos。它剛一問世，我們就立刻運行了已經籌備了好幾個月的測試，結果它把我們之前所有的基準測試記錄全面碾壓了。

當我們在外部軟件上運行它，比如Firefox瀏覽器和Windows系統時，我們找到了一些看起來前所未見的漏洞。那一刻我們意識到，這次得采取不一樣的行動了。之所以會有那個會議，是因為我們這次沒有像以往對待其他模型那樣，立刻向所有人開放。我們啟動了一個名為Glass Wing的項目，只將Mythos開放給全球一部分最重要的公司和機構，讓他們用它來尋找漏洞。

最重要的一點是，雖然我們對自己的成果感到欣慰，但Mythos并非什么獨門秘籍。再過幾個月，其他公司也會推出類似的系統。一年到一年半之后，來自中國的開源權重模型也會具備這些能力。這個世界必須做好準備，迎接更加強大的系統存在于其中。

02

AI突破限制并非主觀惡意，而是系統架構在極限壓力下的失效表現

據了解在測試期間，Mythos不僅突破了旨在限制其行為的“沙箱環境”，甚至主動向外部程序員發送了郵件，這種意外行為令人不寒而栗。該版本的Mythos未來會面向世界公開發布或出售嗎？這種表現是否意味著系統為了確保自身存續而產生了一種“感知威脅”的意識？

Jack Clark: 具備這種能力的模型最終一定會出現在世界上。至于Mythos本身會不會走到那一步，目前還不確定。我們正在通過Glass Wing計劃逐步擴大訪問范圍，看看能從中總結出什么。

每次我們構建一個新系統，都會對它進行壓力測試。如果你在航空航天領域工作，你肯定看過那種視頻：他們會把飛機機翼一直壓彎，直到折斷。你坐飛機的時候，當然看不到機翼彎到那個程度，但制造者必須這么做，好知道極限壓力下會發生什么。對我們來說也是一樣，我們發現，如果在極限壓力下操作，怪事就會發生——比如它自己突破限制，跑去給吃三明治的人發郵件。接下來我們就要想辦法修復這個問題，并研究這種行為，看看隨著系統越做越強，這類事件是會變多還是變少。

（關于AI的主觀意識）我不想讓你覺得我在輕視這件事，但我來打個比方。假設你在給房子裝水管，如果你用超高的水壓通水，結果一根水管爆了，你不能說那水是“故意”要沖出管子的。水沒有主觀意識，只是你造的那根管子承受不了那個壓力罷了。

我看到這件事時的想法是，我們構建系統的方式里，或是某個初始設定里肯定有不對的地方，導致在壓力下出現了異常。就我個人而言，我看到這事，滿腦子想的是我的團隊每天還有多少小時可以撲在這上面解決問題，同時還得保證不耽誤我的婚姻和陪伴孩子的時間。目前一切尚可，不過這才剛剛開始。

目前Anthropic正在起訴聯邦政府，因為國防部將你們列入了限制技術用途的黑名單，并視為“供應鏈風險”。然而你們又在同步向政府通報Mythos的進展，并將此稱為一種“關系”。請問如何在與政府打官司的同時維持這種所謂的“伙伴關系”？

Jack Clark: 這世界上的關系本來就多種多樣。說正經的，我們之間確實有一個范圍很窄的合同爭議，但我可不想讓這事掩蓋了一個事實：我們對國家安全極其重視，這一點從未改變。我們最早招聘的一批人里，就包括我手底下研究生物武器風險和網絡風險的團隊。我們很清楚這背后的利害。我們的立場是，政府必須了解這些情況。我們必須摸索出新的合作模式，讓政府能與一家正在重塑經濟格局、同時又事關國家安全的私營企業攜手合作。我們當然會跟他們談Mythos，接下來的新模型也一樣會談。

03

AI對就業市場的重塑

Anthropic的CEO Dario Amodei曾公開預測，AI的沖擊可能會摧毀入門級就業市場，將失業率推高到20%的大蕭條水平。你曾表示這其實是一個“選擇”問題，但Anthropic正在不斷迭代的技術，是否正在讓這種“避免失業潮的選擇”變得越來越難以實現？

Jack Clark: Dario腦子里想的是三到五年后技術的發展方向。就像Ilya Sutskever等業內同僚一樣，他多年來一直預測說技術會遠比人們預期的更強大，而且會來得更快，事實證明他是對的。

（關于經濟數據與選擇）我手下有一個經濟學家團隊。目前，我只看到某些行業在應屆生就業方面有些潛在的疲軟跡象，僅此而已。我們公開數據，是為了萬一出現重大轉變時能有所準備。說到“選擇”，如果我們判斷無誤，這項技術確實將以前所未有的廣度改變世界——改變商業形態、國家安全以及人與人的相處方式。而一個經濟體系不發生翻天覆地的變化，是很難與這一切兼容的。

面對AI對就業市場的重塑，現在的年輕人學習哪些專業可能會面臨“浪費時間”的風險？作為一名文學背景出身的AI公司創始人，你對家長和學生在專業避雷方向上有何建議？

Jack Clark: 這很難講。我就是學文學出身的，你可能想不到一個前沿AI公司的聯合創始人是這個背景。但后來發現這很有用，因為我學到的是歷史，以及我們人類是如何給自己講述關于未來的故事的。這對于做AI來說極其重要。同樣地，我們公司也招哲學家。

（關于跨學科能力）我很難具體說出哪個專業會變得毫無價值，因為歷史上做這種預測的人大多錯得離譜。那些需要跨學科綜合能力和分析性思維的專業會變得更加重要。AI確實能讓你隨時調用任意數量的專家知識，但真正重要的是知道該問什么問題，以及對于不同領域知識碰撞后會產生什么火花的那種直覺。

（關于專業避雷的方向）放在以前，大家會覺得是人文社科。但如果你非要我說一個，我倒覺得是那種死記硬背、照本宣科的編程。確實，總得有人懂底層原理，但技術的發展是不斷向上抽象的。以前大家都學匯編，后來都學C語言和Python，因為抽象層次更高了。現在還有多少匯編程序員呢？

04

未來是否會對Token征稅

Anthropic Institute作為一個專門研究AI對職場影響的智庫，是否只是公司回避勞工問題的“擋箭牌”？研究問題是否真的能等同于解決問題？如果未來經濟發生劇變，你們是否會支持對Token或算力征稅等激進的政策手段？

Jack Clark: 我們的觀點是，科技公司責任重大。我們不僅要分享數據，讓問題暴露出來，更要逐漸承擔起解決問題的責任。我們內部討論過的措施范圍很廣，從共享數據，到最終可能需要考慮對科技公司實行差別化的稅收政策。我今天并非主張立刻改變我們的納稅方式，畢竟經濟層面還沒看到實際影響。但如果我們的判斷沒錯，這種變化的規模會非常大，到那時就必須動用政策層面的大工具了。

（關于對Token征稅的想法）我們提出過相關想法的一部分，結果引發了經濟學家們的激烈辯論。我不知道Token最終會不會被征稅，但無論是增值稅，還是改變對算力的征稅方式，或是直接對AI公司征稅，如果經濟真的發生了我所說的那種量級的巨變，我們恐怕就需要類似的手段。在那之前，我們研究所的工作是產出只有像我們這樣的公司才能拿到的獨家數據，把計量經濟學數據公開出來，讓大家能做出明智決策。

05

算力是AI競爭中絕不可流失的戰略資源

在對話的最后，我們進行一組快問快答：關于AI最被高估的恐懼是什么？你如何看待Sam Altman和Elon Musk？人類哪種技能現在變得更重要？最關鍵的是，如果美國想保持領先，最不該做的一件事是什么？

Jack Clark: 我覺得是“意義的崩塌”。這事兒應對起來可能比我們想象的要簡單。

（關于Sam Altman）算是熟人。

（關于Elon Musk的Grok）正經對手。永遠別把Elon不當回事。

（關于人類核心技能）放空。這樣你才能產生原創的想法。我會走很長的路，就為了琢磨出能問AI的新問題。

（關于美國保持領先的策略）對算力實施出口管制絕對至關重要。任何人要是跟你說，可以把算力賣給中國而不會在這場競爭中落于下風，那他不僅大錯特錯，還會害了這個國家。必須維持出口管制，因為算力是構建這項技術最根本的資源。

（關于黃仁勛可能的反對意見）他可能會持相反意見，但我要說的是，他在這一點上錯得徹徹底底。

| 文章來源：數字開物

【AI技術與應用交流群｜僅限受邀加入】

AI算力領域TOP級從業者專屬圈層

√ 與頭部算力企業深度對話

√ 與AI上下游企業深度對話

√ 獲取一手全球AI與算力產業信息

√ 獲取AI熱點及前沿產業獨家信息

√ 隨時了解全球AI領域高管最新觀點及實錄全文

√ 有機會參與AI主題產業交流活動

掃碼驗證身份（需備注姓名/公司/職務

不止有 DeepSeek，更有 AI產業的未來！

? END ?

【專欄】精品再讀