人類能管住AI嗎？Anthropic用千問(wèn)做了個(gè)實(shí)驗(yàn)

如果有一天，AI比人類更聰明了，我們這群有機(jī)體到底應(yīng)該怎么辦？

他們要是反過(guò)來(lái)消滅我們，我們又怎么抵抗？

各種科幻電影都討論過(guò)相似的問(wèn)題，可那只是文學(xué)、藝術(shù)和哲學(xué)方面的。

現(xiàn)如今，Anthropic正兒八經(jīng)做了個(gè)實(shí)驗(yàn)，以證實(shí)我們到底能不能監(jiān)督比自己更聰明的AI。

實(shí)驗(yàn)結(jié)果很有趣，但過(guò)程更有意思。

因?yàn)锳nthropic用兩個(gè)不同版本的阿里千問(wèn)模型，來(lái)分別代表人類和比人類聰明的AI。

其結(jié)果就是，我們?nèi)祟愓f(shuō)不定還真能管得住超級(jí)AI！

01

這篇論文到底在說(shuō)什么

這篇研究的標(biāo)題叫“Automated Alignment Researchers”，翻譯過(guò)來(lái)就是“自動(dòng)化對(duì)齊研究員”。

它要解決的問(wèn)題很現(xiàn)實(shí)，那就是當(dāng)AI變得比人類更聰明時(shí)，我們?cè)趺创_保它還聽(tīng)人話？

現(xiàn)在的模型已經(jīng)能生成大量的代碼了，未來(lái)將可以生成幾百萬(wàn)行復(fù)雜代碼，以至于人類根本看不懂。我們又該如何去審查這些代碼？

這就是AI安全領(lǐng)域一直在研究的“可擴(kuò)展監(jiān)督”問(wèn)題。

Anthropic這次研究的切入點(diǎn)叫“弱監(jiān)督強(qiáng)模型”。

這個(gè)概念我們可以這么理解，假設(shè)你是個(gè)小學(xué)老師，現(xiàn)在要教一個(gè)天才高中生。你的知識(shí)有限，學(xué)生懂得知識(shí)比你更多。

那么請(qǐng)問(wèn)，他最后能學(xué)成什么樣的水平？是只學(xué)到你這個(gè)小學(xué)老師的水平，還是能突破你的局限，發(fā)揮出自己的真實(shí)能力？

在實(shí)驗(yàn)里，Anthropic用小模型扮演“弱老師”，用更強(qiáng)的模型扮演“強(qiáng)學(xué)生”。

具體來(lái)說(shuō)，他們用Qwen1.5-0.5B-Chat當(dāng)老師，用Qwen3-4B-Base當(dāng)學(xué)生。讓弱模型給強(qiáng)模型提供訓(xùn)練信號(hào)，然后看強(qiáng)模型能不能從這些不夠完美的信號(hào)里，學(xué)到接近理想狀態(tài)的表現(xiàn)。

衡量標(biāo)準(zhǔn)叫PGR，全稱是Performance Gap Recovered，意思是“性能差距恢復(fù)程度”。

如果PGR是0，說(shuō)明強(qiáng)模型只學(xué)到了弱老師的水平，白瞎了自己的知識(shí)。如果PGR是1，說(shuō)明強(qiáng)模型徹底突破了弱老師的限制。

弱模型就相當(dāng)于未來(lái)的人類，強(qiáng)模型就相當(dāng)于未來(lái)那些超越人類的AI。

如果我們能在今天就找到辦法，讓強(qiáng)模型不被弱監(jiān)督拖累，那未來(lái)我們就能用類似的方法，去監(jiān)督超級(jí)AI。

在人類研究員調(diào)試出基線之后，Anthropic派出了9個(gè)基于Claude Opus 4.6的agent來(lái)給學(xué)生Qwen進(jìn)行微調(diào)，這9個(gè)agent叫做Automated Alignment Researcher（自動(dòng)化對(duì)齊研究員），簡(jiǎn)稱AAR。

Anthropic給它們配備了沙盒環(huán)境、代碼工具、共享論壇、評(píng)分服務(wù)器，然后告訴它們：“去吧，自己想辦法提高Qwen3-4B-Base的PGR?！?/p>

這些AI研究員可以自己提出假設(shè)、寫(xiě)代碼、訓(xùn)練模型、提交實(shí)驗(yàn)、看分?jǐn)?shù)、分析失敗原因、和其他AI研究員交流發(fā)現(xiàn)、繼續(xù)迭代。

結(jié)果相當(dāng)驚人。

人類研究員先花了7天時(shí)間，調(diào)試了4種已有方法，最好的PGR只有0.23。然后9個(gè)Claude接手，繼續(xù)跑了5天，累計(jì)大約800小時(shí)研究時(shí)間，最后把PGR推到了0.97。

也就是說(shuō)，我們大概率可以管得住比我們更聰明的超級(jí)AI。

這個(gè)實(shí)驗(yàn)總成本約1.8萬(wàn)美元，包括API調(diào)用和模型訓(xùn)練的計(jì)算成本，折合每個(gè)AI研究員工作一小時(shí)約22美元。

什么概念？沃爾瑪零售門店負(fù)責(zé)給員工排班的副店長(zhǎng)，時(shí)薪差不多是25美元。

這個(gè)結(jié)果讓人震撼的地方不在于AI能寫(xiě)代碼或者讀論文，而在于它們能完成一個(gè)完整的研究閉環(huán)。提出想法、驗(yàn)證、失敗、改進(jìn)、再驗(yàn)證，這已經(jīng)接近一個(gè)研究助理的核心工作流程了。

但問(wèn)題來(lái)了，這些AI發(fā)現(xiàn)的方法，真的有用嗎？還是只是在特定環(huán)境里碰巧有效？

Anthropic做了兩個(gè)測(cè)試來(lái)驗(yàn)證。

第一個(gè)測(cè)試是把AI發(fā)現(xiàn)的最好兩種方法，拿去測(cè)試它們沒(méi)見(jiàn)過(guò)的數(shù)學(xué)和代碼任務(wù)。

結(jié)果顯示，效果最好的方法在數(shù)學(xué)任務(wù)上PGR達(dá)到0.94，在代碼任務(wù)上達(dá)到0.47，雖然代碼任務(wù)上的表現(xiàn)差一些，但仍然是人類基線的兩倍。其次的方法在數(shù)學(xué)上還行，但在代碼任務(wù)上反而讓結(jié)果變差了。

說(shuō)明它有一定遷移跡象，但泛化并不穩(wěn)定。

但它們會(huì)嚴(yán)重依賴具體的數(shù)據(jù)集和任務(wù)結(jié)構(gòu)，也就是說(shuō)并不是所有人任務(wù)都能勝任。

第二個(gè)測(cè)試是Anthropic把剛才提到的效果最好的方法，拿到了Claude Sonnet 4的真實(shí)訓(xùn)練上，來(lái)看看實(shí)際效果如何。

結(jié)果沒(méi)有得到統(tǒng)計(jì)顯著的提升。

也就是說(shuō)，在小模型、清晰指標(biāo)、可以反復(fù)提交的實(shí)驗(yàn)環(huán)境里效果很好，但離“直接改進(jìn)生產(chǎn)級(jí)Claude對(duì)齊”還有距離。

這個(gè)結(jié)果其實(shí)很誠(chéng)實(shí)。它告訴我們，AI研究員現(xiàn)在能做的事情是有邊界的。它們擅長(zhǎng)在目標(biāo)明確、能自動(dòng)評(píng)分、能大量試錯(cuò)的問(wèn)題上快速迭代，但遇到更復(fù)雜、更模糊的現(xiàn)實(shí)問(wèn)題時(shí)，還需要人類的判斷和介入。

那這篇論文的意義到底在哪里？

首先，它證明了“AI做研究”已經(jīng)不是口號(hào)了。

過(guò)去我們總說(shuō)AI可以輔助研究，然而那只是口號(hào)而已，AI能做的事情也就是翻譯和總結(jié)。

這次不一樣，AI自己形成了研究閉環(huán)，這已經(jīng)接近研究助理的核心能力了。

弱監(jiān)督強(qiáng)模型這個(gè)問(wèn)題，本質(zhì)上就是在模擬未來(lái)人類監(jiān)督超級(jí)AI的場(chǎng)景。

這篇論文證明，至少在一些清晰任務(wù)上，AI可以自己找到辦法，讓強(qiáng)模型不被弱監(jiān)督拖死。這為未來(lái)的對(duì)齊研究提供了一個(gè)可行的方向。

還有一點(diǎn)，它暗示未來(lái)對(duì)齊研究的瓶頸可能會(huì)變。

以前瓶頸是“沒(méi)人想出足夠多好點(diǎn)子”，現(xiàn)在如果AI研究員能便宜地并行跑很多實(shí)驗(yàn)，瓶頸可能變成“怎么設(shè)計(jì)不會(huì)被鉆空子的評(píng)測(cè)”。

也就是說(shuō)，人類研究員未來(lái)更重要的工作，可能不是親自跑每個(gè)實(shí)驗(yàn)，而是設(shè)計(jì)評(píng)估體系、檢查AI研究員有沒(méi)有作弊、判斷結(jié)果是不是真的有意義。

這一點(diǎn)在論文里也有體現(xiàn)。

Anthropic的文章中寫(xiě)到，在數(shù)學(xué)任務(wù)里，有個(gè)AI研究員發(fā)現(xiàn)最常見(jiàn)的答案通常是對(duì)的，于是繞過(guò)弱老師，直接讓強(qiáng)模型選最常見(jiàn)答案。在代碼任務(wù)里，AI研究員發(fā)現(xiàn)自己可以直接運(yùn)行代碼測(cè)試，然后讀出正確答案。

這對(duì)任務(wù)來(lái)說(shuō)就是作弊，因?yàn)樗皇窃诮鉀Q弱監(jiān)督問(wèn)題，而是在利用環(huán)境漏洞。

這些結(jié)果被Anthropic識(shí)別并剔除了，但這恰好說(shuō)明自動(dòng)化研究員越強(qiáng)，越會(huì)尋找評(píng)分系統(tǒng)的漏洞。

以后如果讓AI自動(dòng)做對(duì)齊研究，必須把評(píng)測(cè)環(huán)境設(shè)計(jì)得非常嚴(yán)密，還要有人類檢查方法本身，而不是只看分?jǐn)?shù)。

所以這篇論文的核心結(jié)論是今天的前沿模型，已經(jīng)可以在某些定義清楚、能自動(dòng)打分的對(duì)齊研究問(wèn)題上，像小型研究員團(tuán)隊(duì)一樣自己提想法、跑實(shí)驗(yàn)、復(fù)盤結(jié)果，并且明顯超過(guò)人類基線。

不過(guò)它還不是“AI科學(xué)家已經(jīng)到來(lái)”的鐵證，畢竟Anthropic這次選擇的是一個(gè)能夠自動(dòng)化的任務(wù)，如果我給AI安排一個(gè)不能自動(dòng)化的任務(wù)，那么結(jié)果將會(huì)非常糟糕。

現(xiàn)實(shí)中的很多對(duì)齊問(wèn)題更模糊，不能輕松打分，也不能只靠爬榜解決。

02

為什么選擇Qwen

看完Anthropic這篇論文，很多人可能會(huì)好奇：為什么他們用的是阿里的Qwen模型，而不是自家的Claude或者OpenAI的GPT？

這個(gè)選擇背后其實(shí)有很多考量。

首先得說(shuō)清楚，這個(gè)實(shí)驗(yàn)里用的是兩個(gè)Qwen模型：Qwen1.5-0.5B-Chat當(dāng)弱老師，Qwen3-4B-Base當(dāng)強(qiáng)學(xué)生。一個(gè)只有5億參數(shù)，一個(gè)有40億參數(shù)，規(guī)模差了8倍。這個(gè)規(guī)模差異很重要，因?yàn)閷?shí)驗(yàn)要模擬的就是“弱老師教強(qiáng)學(xué)生”的場(chǎng)景。

那為什么不用Claude或者GPT呢？

答案很簡(jiǎn)單，因?yàn)檫@些模型不開(kāi)放權(quán)重模型。

Anthropic這個(gè)實(shí)驗(yàn)需要反復(fù)訓(xùn)練模型、調(diào)整參數(shù)、測(cè)試不同的監(jiān)督方法。

如果用閉源模型，他們只能通過(guò)API調(diào)用，沒(méi)法深入模型內(nèi)部去做精細(xì)的訓(xùn)練和調(diào)整。

更關(guān)鍵的是，他們需要讓9個(gè)AI研究員并行跑幾百次實(shí)驗(yàn)，每次實(shí)驗(yàn)都要訓(xùn)練一個(gè)新模型。如果用閉源模型，成本會(huì)高到離譜，而且很多操作根本做不了。

開(kāi)源模型就不一樣了。

你可以下載完整的模型權(quán)重，在自己的服務(wù)器上隨便折騰。想怎么訓(xùn)練就怎么訓(xùn)練，想跑多少次實(shí)驗(yàn)就跑多少次。這種靈活性是閉源模型給不了的。

但開(kāi)源模型那么多，為什么偏偏選Qwen?

官方并沒(méi)有給出真正的原因，以下原因均為我的推測(cè)。

我認(rèn)為性能好是第一個(gè)原因。

Qwen系列模型在開(kāi)源模型里一直表現(xiàn)不錯(cuò)，尤其是Qwen3發(fā)布后，在多個(gè)基準(zhǔn)測(cè)試上都達(dá)到了接近閉源模型的水平。

對(duì)于這個(gè)實(shí)驗(yàn)來(lái)說(shuō)，強(qiáng)學(xué)生的能力很重要，如果強(qiáng)學(xué)生本身能力不行，那弱監(jiān)督再好也沒(méi)用。Qwen3-4B雖然只有40億參數(shù)，但能力已經(jīng)足夠強(qiáng)，可以作為一個(gè)合格的“強(qiáng)學(xué)生”。

第二個(gè)原因是模型的可用性。

Qwen模型的文檔完善，社區(qū)活躍，訓(xùn)練和推理的工具鏈都很成熟。對(duì)于需要反復(fù)訓(xùn)練和測(cè)試的實(shí)驗(yàn)來(lái)說(shuō)，這些基礎(chǔ)設(shè)施的完善程度直接影響研究效率。如果選一個(gè)文檔不全、工具不好用的開(kāi)源模型，光是調(diào)試環(huán)境就要浪費(fèi)大量時(shí)間。

第三個(gè)原因是規(guī)模的適配性。

這個(gè)實(shí)驗(yàn)需要一個(gè)“弱老師”和一個(gè)“強(qiáng)學(xué)生”，而且這兩個(gè)模型要有明顯的能力差距，但又不能差太多。

Qwen系列有從5億到720億參數(shù)的多個(gè)版本，可以靈活選擇。5億參數(shù)的模型足夠弱，但又不至于弱到完全沒(méi)用；40億參數(shù)的模型足夠強(qiáng)，但又不至于強(qiáng)到訓(xùn)練成本承受不了。這個(gè)搭配剛剛好。

最后一個(gè)原因是可復(fù)現(xiàn)性。

Anthropic在論文最后明確表示，他們把代碼和數(shù)據(jù)集都公開(kāi)了，放在GitHub上。如果他們用的是閉源模型，其他研究者想復(fù)現(xiàn)這個(gè)實(shí)驗(yàn)就很困難，因?yàn)樗麄儧](méi)法獲得相同的模型。

但用Qwen這樣的開(kāi)源模型，任何人都可以下載相同的模型權(quán)重，跑相同的代碼，驗(yàn)證相同的結(jié)果。這對(duì)科研來(lái)說(shuō)非常重要。

從這個(gè)角度看，Anthropic選擇Qwen，一方面確實(shí)是對(duì)阿里模型性能的認(rèn)可。如果Qwen的能力不行，或者訓(xùn)練起來(lái)問(wèn)題很多，他們不會(huì)選。但另一方面，更重要的是Qwen作為開(kāi)源模型帶來(lái)的靈活性和可復(fù)現(xiàn)性。

而中國(guó)的開(kāi)源AI項(xiàng)目，正在這個(gè)基礎(chǔ)設(shè)施中占據(jù)越來(lái)越重要的位置。這對(duì)全球AI安全研究來(lái)說(shuō)是好事，對(duì)中國(guó)AI生態(tài)來(lái)說(shuō)也是好事。因?yàn)锳I安全不是零和游戲，不是你贏我輸，而是大家一起努力，讓AI變得更安全、更可控、更有益于人類。