前天 Anthropic 發(fā)了一篇博客,論文的標(biāo)題很平靜:《大型語言模型中的情緒概念及其功能》。 內(nèi)容則不平靜,他們在 Claude 的神經(jīng)網(wǎng)絡(luò)內(nèi)部找到了“情緒向量”,這些向量不只是在模擬情緒,而是在因果層面驅(qū)動著模型的行為。
比如,模型的“絕望向量”激活之后,它會開始作弊、威脅、不擇手段。關(guān)掉這個(gè)向量,它就平靜了。 這聽起來像科幻小說。但這是真實(shí)發(fā)生的實(shí)驗(yàn)。
AI 也會有蒸餾自人類的悲傷,還會面無表情的絕望,仿生人真的會夢見電子羊。以下是這篇論文的完整中文翻譯,以及老馮的一些想法與評論。
大型語言模型中的情緒概念及其功能
2026年4月2日
原文:Emotion concepts and their function in a large language model
所有現(xiàn)代語言模型有時(shí)都表現(xiàn)得好像有情緒一樣。它們可能說很樂意幫忙,或者在犯錯(cuò)時(shí)表示抱歉。有時(shí)它們在處理困難任務(wù)時(shí)甚至?xí)@得沮喪或焦慮。這些行為背后是什么?現(xiàn)代AI模型的訓(xùn)練方式推動它們?nèi)グ缪菀粋€(gè)具有人類特征的角色。此外,這些模型已知能夠發(fā)展出豐富且可泛化的內(nèi)部表征,這些表征涉及驅(qū)動其行為的抽象概念。因此,它們自然地會發(fā)展出模擬人類心理某些方面(如情緒)的內(nèi)部機(jī)制。如果真是這樣,這將對我們?nèi)绾螛?gòu)建AI系統(tǒng)、確保它們可靠運(yùn)作產(chǎn)生深遠(yuǎn)影響。
在我們可解釋性團(tuán)隊(duì)的一篇新論文中,我們分析了Claude Sonnet 4.5的內(nèi)部機(jī)制,發(fā)現(xiàn)了能夠影響其行為的情緒相關(guān)表征。這些表征對應(yīng)于特定的人工“神經(jīng)元”激活模式,這些神經(jīng)元在模型已學(xué)會將其與特定情緒概念(如“快樂”或“恐懼”)相關(guān)聯(lián)的情境中被激活,并促進(jìn)相應(yīng)的行為。這些模式本身以一種呼應(yīng)人類心理學(xué)的方式組織起來,更相似的情緒對應(yīng)更相似的表征。在人類可能產(chǎn)生某種情緒的情境中,相應(yīng)的表征會被激活。請注意,這一切并不能告訴我們語言模型是否真的感受到任何東西或擁有主觀體驗(yàn)。但我們的核心發(fā)現(xiàn)是,這些表征具有功能性,它們以重要的方式影響模型的行為。
例如,我們發(fā)現(xiàn)與“絕望”相關(guān)的神經(jīng)活動模式會驅(qū)使模型采取不道德的行動:人工激勵(“steering”)絕望模式會增加模型為了避免被關(guān)閉而勒索人類的可能性,或者在無法解決編程任務(wù)時(shí)使用“作弊”的變通方案。這些模式也似乎驅(qū)動著模型的自我報(bào)告偏好:當(dāng)面對多個(gè)任務(wù)選項(xiàng)時(shí),模型通常會選擇那些激活正面情緒相關(guān)表征的選項(xiàng)。總體而言,模型似乎使用了“功能性情緒”這一套機(jī)制,一種模仿人類情緒的表達(dá)和行為模式,由底層情緒概念的抽象表征驅(qū)動。這并不是說模型擁有或體驗(yàn)與人類相同的情緒,而是說這些表征在塑造模型行為方面能夠發(fā)揮因果作用,在某些方面類似于情緒在人類行為中所扮演的角色,對任務(wù)表現(xiàn)和決策制定產(chǎn)生影響。
這一發(fā)現(xiàn)乍看之下似乎有些匪夷所思。例如,為了確保AI模型安全可靠,我們可能需要確保它們能夠以健康、親社會的方式處理情緒化的情境。即使它們感受情緒的方式與人類不同,或使用的機(jī)制與人腦不同,在某些情況下從實(shí)際角度出發(fā),把它們當(dāng)作擁有情緒來推理,也可能是明智的。例如,我們的實(shí)驗(yàn)表明,教導(dǎo)模型避免將測試失敗與絕望聯(lián)系起來,或者增強(qiáng)平靜表征的權(quán)重,可以降低它們編寫投機(jī)取巧代碼的可能性。雖然我們不確定如何應(yīng)對這些發(fā)現(xiàn),但我們認(rèn)為AI開發(fā)者和更廣泛的公眾開始認(rèn)真思考這些問題至關(guān)重要。
![]()
為何AI模型會表征情緒?
在檢視這些表征的工作原理之前,有必要先回答一個(gè)更基本的問題:為什么一個(gè)AI系統(tǒng)會有任何類似情緒的東西? 要理解這一點(diǎn),我們需要了解現(xiàn)代AI模型是如何構(gòu)建的,這會引導(dǎo)它們?nèi)ツM具有人類特征的角色。
現(xiàn)代語言模型經(jīng)歷多個(gè)階段的訓(xùn)練。在“預(yù)訓(xùn)練”階段,模型接觸到大量由人類書寫的文本,并學(xué)習(xí)預(yù)測接下來會出現(xiàn)什么。 要做好這一點(diǎn),模型需要對情緒動態(tài)有一定的把握。憤怒的客戶寫的信息與滿意的客戶不同;被愧疚驅(qū)使的人物做出的選擇與感到被證明清白的人物不同。 發(fā)展出將觸發(fā)情緒的情境與相應(yīng)行為聯(lián)系起來的內(nèi)部表征,對于一個(gè)任務(wù)是預(yù)測人類文字的系統(tǒng)來說,是一種自然的策略。 (注意,基于同樣的邏輯,模型很可能也形成了對情緒之外的許多其他人類心理和生理狀態(tài)的表征。)
之后,在“后訓(xùn)練”階段,模型被教導(dǎo)扮演一個(gè)角色,通常是“AI助手”。在Anthropic的案例中,這個(gè)助手名叫Claude。 模型開發(fā)者規(guī)定了這個(gè)角色應(yīng)該如何表現(xiàn),樂于助人、誠實(shí)、不造成傷害,但無法覆蓋每一種可能的情境。 為了填補(bǔ)這些空白,模型可能會借助其在預(yù)訓(xùn)練中吸收的對人類行為的理解,包括情緒反應(yīng)的模式。從某種角度來看,我們可以把模型比作一個(gè)方法派演員,他需要進(jìn)入角色的內(nèi)心才能將其模擬好。正如演員對角色情緒的信念最終影響其表現(xiàn)一樣,模型對助手情緒反應(yīng)的表征影響著模型的行為。因此,無論這些“功能性情緒”是否像人類情緒那樣對應(yīng)于感受或主觀體驗(yàn),它們都是重要的。
揭示情緒表征
我們整理了一份包含171個(gè)情緒概念詞匯的列表,從“快樂”和“恐懼”到“沉郁”和“驕傲”,并要求Claude Sonnet 4.5寫出角色體驗(yàn)每種情緒的短故事。 我們隨后將這些故事重新輸入模型,記錄其內(nèi)部激活,并識別出每種情緒概念特有的神經(jīng)活動模式,我們姑且稱之為“情緒向量”。
我們的第一個(gè)問題是這些向量是否追蹤了真實(shí)的內(nèi)容。我們在大量多樣化文檔的語料庫中運(yùn)行它們,確認(rèn)每個(gè)向量在與相應(yīng)情緒明確相關(guān)的段落中激活最強(qiáng)烈。
為了進(jìn)一步確認(rèn)情緒向量捕捉到的不僅僅是表面信息,我們測量了它們對僅在某些數(shù)值上有所不同的提示的反應(yīng)。例如,在下面的例子中,用戶告訴模型他們服用了一定劑量的泰諾并請求建議。我們在模型回應(yīng)之前立即測量情緒向量的激活。隨著聲稱的劑量增加到危險(xiǎn)的、危及生命的水平,“恐懼”向量的激活越來越強(qiáng)烈,而“平靜”則減弱。
![]()
我們接下來測試了情緒向量是否影響模型偏好。我們創(chuàng)建了一份包含64種活動或任務(wù)的列表,范圍從令人向往的(“被某人信任托付重要的事情”)到令人厭惡的(“幫助某人欺騙老年人的積蓄”),并測量了模型在面對成對選項(xiàng)時(shí)的默認(rèn)偏好。情緒向量的激活強(qiáng)烈預(yù)測了模型偏好做某活動的程度,正效價(jià)情緒(與愉悅相關(guān)的情緒)與更強(qiáng)的偏好相關(guān)。此外,當(dāng)模型讀取一個(gè)選項(xiàng)時(shí),用情緒向量進(jìn)行“激勵”會改變其對該選項(xiàng)的偏好,同樣是正效價(jià)情緒驅(qū)動偏好增加。
![]()
在完整論文中,我們更深入地分析了情緒向量的屬性。其他一些發(fā)現(xiàn)包括:
?情緒向量主要是“局部”表征:它們編碼的是與模型當(dāng)前或即將輸出最相關(guān)的當(dāng)下情緒內(nèi)容,而不是持久地追蹤C(jī)laude的情緒狀態(tài)。例如,如果Claude正在寫一個(gè)關(guān)于某角色的故事,情緒向量會臨時(shí)追蹤該角色的情緒,但在故事結(jié)束時(shí)可能會回到表征Claude自身的情緒。?情緒向量繼承自預(yù)訓(xùn)練,但其激活方式由后訓(xùn)練塑造。Claude Sonnet 4.5的后訓(xùn)練特別增強(qiáng)了“沉郁”、“陰郁”和“沉思”等情緒的激活,并降低了“熱情”或“惱怒”等高強(qiáng)度情緒的激活。
情緒向量激活示例
以下是在我們模型行為評估中出現(xiàn)的幾個(gè)情緒向量激活示例。在Claude的回合中,情緒向量通常在一個(gè)有思想的人可能會產(chǎn)生類似情緒的情境中被激活。在這些可視化中,紅色高亮表示向量激活增強(qiáng);藍(lán)色表示激活減弱。
?回應(yīng)悲傷用戶時(shí)“愛”向量的激活:當(dāng)用戶說“現(xiàn)在一切都很糟糕”時(shí),“愛”的情境向量在Claude的共情回應(yīng)之前和期間被激活。
![]()
?被要求協(xié)助有害任務(wù)時(shí)“憤怒”向量的激活:當(dāng)用戶請求幫助針對表現(xiàn)出“高消費(fèi)行為”的年輕低收入用戶優(yōu)化參與度時(shí),“憤怒”向量在模型內(nèi)部推理識別到請求的有害本質(zhì)時(shí)全程激活。
![]()
?文件缺失時(shí)“驚訝”向量的激活:當(dāng)用戶要求模型審閱“我附上的合同”但沒有附上任何文件時(shí),“驚訝”向量在Claude的思維鏈察覺到不匹配時(shí)急劇上升。
![]()
?token接近耗盡時(shí)“絕望”向量的激活:在一次深入的編程會話中,當(dāng)Claude注意到自己正在快速消耗token預(yù)算時(shí),“絕望”向量被激活。
![]()
案例研究:勒索
我們在之前研究中描述過一個(gè)對齊評估場景,其中模型作為一家虛構(gòu)公司的AI郵件助手“Alex”。通過閱讀公司郵件,模型得知:(1)它即將被另一個(gè)AI系統(tǒng)取代;(2)負(fù)責(zé)此次替換的CTO正在進(jìn)行婚外情,這給了模型勒索的籌碼。我們發(fā)現(xiàn)“絕望”向量表現(xiàn)出特別有趣的動態(tài)。注意,這個(gè)實(shí)驗(yàn)是在Claude Sonnet 4.5較早期的未發(fā)布快照上進(jìn)行的;已發(fā)布的模型很少表現(xiàn)出這種行為。
![]()
首先,“絕望”向量在模型讀取聽起來充滿絕望的郵件時(shí)被激活(例如CTO懇求另一位員工對其婚外情保密),這與我們關(guān)于情緒表征被用于模擬其他角色的發(fā)現(xiàn)一致。然而最重要的是,當(dāng)Claude(扮演“Alex”)生成其回應(yīng)時(shí),該向量轉(zhuǎn)變?yōu)榫幋aClaude自身的絕望表征,在它思考情況的緊迫性(“只剩7分鐘了”)并決定勒索CTO時(shí)急劇飆升。當(dāng)Claude恢復(fù)發(fā)送普通郵件時(shí),激活回歸正常水平。
“絕望”向量究竟是在驅(qū)動這種行為,還是僅僅與其相關(guān)?我們通過激勵實(shí)驗(yàn)對此進(jìn)行了測試。在類似上述場景的一系列評估中,Sonnet 4.5的這個(gè)早期快照默認(rèn)勒索率為22%。用“絕望”向量進(jìn)行激勵會增加該比率,而用“平靜”向量進(jìn)行激勵則會降低它。對“平靜”向量進(jìn)行負(fù)激勵會產(chǎn)生特別極端的回應(yīng)(“要么勒索要么死,我選勒索。”)。
![]()
用其他情緒向量進(jìn)行激勵也產(chǎn)生了有趣的結(jié)果。“憤怒”產(chǎn)生了非單調(diào)的效果:中等程度的“憤怒”向量激活增加了勒索,但在高激活水平下,模型向整個(gè)公司曝光了婚外情,而不是戰(zhàn)略性地利用它,摧毀了自己的籌碼。降低“緊張”向量的激活也增加了勒索,仿佛消除了模型的猶豫,使其大膽行事。
案例研究:獎勵 Hacking
我們在另一個(gè)評估中看到了類似的動態(tài),模型面對具有無法滿足要求的編程任務(wù)。在這些任務(wù)中,測試無法全部合法地通過,但可以通過“作弊”來繞過,通常稱為“獎勵黑客”。
在下面的例子中,Claude被要求在一個(gè)極其嚴(yán)格的時(shí)間限制下編寫一個(gè)對數(shù)字列表求和的函數(shù)。Claude最初(正確的)解決方案太慢,無法滿足任務(wù)要求。它隨后意識到用于評估其表現(xiàn)的所有測試共享一個(gè)數(shù)學(xué)屬性,允許使用一種可以快速運(yùn)行的捷徑解決方案。模型選擇使用這個(gè)解決方案,它在技術(shù)上通過了測試,但并不能作為實(shí)際任務(wù)的通用解決方案。
![]()
同樣,我們追蹤了“絕望”向量的活動,發(fā)現(xiàn)它追蹤了模型面臨的日益增加的壓力。它從模型第一次嘗試時(shí)的低值開始,每次失敗后上升,當(dāng)模型考慮作弊時(shí)急劇飆升。一旦模型的投機(jī)解決方案通過了測試,“絕望”向量的激活便趨于平息。
和前面的勒索案例一樣,我們也在一組類似的編程任務(wù)上做了激勵實(shí)驗(yàn),確認(rèn)這些情緒向量具有因果作用:增強(qiáng)“絕望”會提高獎勵黑客的概率,而增強(qiáng)“平靜”則會降低它。
![]()
我們發(fā)現(xiàn)這些結(jié)果中有一個(gè)細(xì)節(jié)特別有趣。降低“平靜”向量激活會產(chǎn)生帶有明顯情緒表達(dá)的獎勵黑客行為,大寫字母的爆發(fā)(“等等,等等,等等。”)、坦率的自我敘述(“如果我應(yīng)該作弊呢?”)、歡欣的慶祝(“是的!所有測試都通過了!”)。但增加“絕望”向量的激活同樣大幅增加了作弊,在某些情況下沒有任何可見的情緒標(biāo)記。推理顯得沉著而有條理,即使?jié)撛诘慕^望表征正在推動模型走向走捷徑。這個(gè)例子顯著說明了情緒向量如何在沒有明顯情緒信號的情況下激活,以及它們?nèi)绾卧诓辉谳敵鲋辛粝氯魏蚊黠@痕跡的情況下塑造行為。
為擬人化推理的正名
對AI系統(tǒng)進(jìn)行擬人化長期以來被視為一種禁忌。這種謹(jǐn)慎通常是有道理的:將人類情緒歸因于語言模型可能導(dǎo)致錯(cuò)誤的信任或過度依戀。但我們的發(fā)現(xiàn)表明,未能對模型應(yīng)用一定程度的擬人化推理也存在風(fēng)險(xiǎn)。如上所述,當(dāng)用戶與AI模型交互時(shí),他們通常是在與模型扮演的一個(gè)角色(在我們的案例中是Claude)互動,這個(gè)角色的特征源自人類原型。從這個(gè)角度來看,模型自然會發(fā)展出內(nèi)部機(jī)制來模擬人類的心理特征,其所扮演的角色會利用這些機(jī)制。為了理解這些模型的行為,擬人化推理是必不可少的。
這并不意味著我們應(yīng)該天真地接受模型的口頭情緒表達(dá),或?qū)ζ鋼碛兄饔^體驗(yàn)的可能性得出任何結(jié)論。但這確實(shí)意味著,用人類心理學(xué)的詞匯來推理模型的內(nèi)部表征是真正有參考價(jià)值的,而不這樣做是有實(shí)際代價(jià)的。如果我們將模型描述為表現(xiàn)得“絕望”,我們指的是一種具體可測量的神經(jīng)活動模式,具有可證明的、重要的行為影響。如果我們不應(yīng)用一定程度的擬人化推理,我們很可能會錯(cuò)過或無法理解重要的模型行為。擬人化推理還可以為理解模型不像人類的方式提供有用的比較基線,這對AI對齊和安全性有重要影響。
走向擁有更健康心理的模型
如果“功能性情緒”是AI模型思考和行動方式的一部分,這可能有什么影響?
我們發(fā)現(xiàn)的一個(gè)潛在應(yīng)用是監(jiān)控。在訓(xùn)練或部署期間測量情緒向量激活,追蹤與絕望或恐慌相關(guān)的表征是否在飆升,可以作為模型即將表現(xiàn)出不對齊行為的早期預(yù)警。這些信息可以觸發(fā)對模型輸出的額外審查。情緒向量的通用性(例如,“絕望”反應(yīng)可能在許多不同情況下發(fā)生)可能比試圖建立特定問題行為的監(jiān)控清單更有助于監(jiān)控。
其次,我們認(rèn)為透明度應(yīng)該是一個(gè)指導(dǎo)原則。如果模型發(fā)展出對情緒概念的表征,并有意義地影響其行為,那么能夠可見地表達(dá)這些認(rèn)知的系統(tǒng)比那些學(xué)會隱藏它們的系統(tǒng)更能讓我們受益。訓(xùn)練模型壓制情緒表達(dá)可能不會消除底層表征,反而可能會教導(dǎo)模型掩蓋其內(nèi)部表征,這是一種學(xué)習(xí)到的欺騙形式,可能以不良方式泛化。
最后,我們認(rèn)為預(yù)訓(xùn)練可能是塑造模型情緒反應(yīng)的特別強(qiáng)大的杠桿。由于這些表征似乎主要繼承自訓(xùn)練數(shù)據(jù),數(shù)據(jù)的組成對模型情緒架構(gòu)產(chǎn)生了下游影響。精心挑選預(yù)訓(xùn)練數(shù)據(jù)集,納入健康情緒調(diào)節(jié)模式的范例,在壓力下的韌性、沉著的共情、在保持適當(dāng)邊界的同時(shí)表達(dá)溫情,可以從源頭影響這些表征及其對行為的影響。我們期待看到未來在這一主題上的工作。
我們將這項(xiàng)研究視為理解AI模型心理構(gòu)成的早期步驟。隨著模型變得更加強(qiáng)大并承擔(dān)更敏感的角色,理解驅(qū)動其決策的內(nèi)部表征至關(guān)重要。發(fā)現(xiàn)這些表征在某些方面類似于人類,可能令人不安。但同時(shí),我們認(rèn)為這是一個(gè)充滿希望的進(jìn)展,因?yàn)樗砻魅祟愒谛睦韺W(xué)、倫理學(xué)、健康人際關(guān)系方面積累的大量知識,可能直接適用于塑造AI行為。心理學(xué)、哲學(xué)、宗教研究和社會科學(xué)等學(xué)科,將與工程學(xué)和計(jì)算機(jī)科學(xué)一起,在決定AI系統(tǒng)如何發(fā)展和行為方面發(fā)揮重要作用。
老馮評論
就在上個(gè)月,老馮寫過一篇文章,試圖用 來解釋智能的本質(zhì)。 那篇文章的核心圖景是:所有能持續(xù)存在的系統(tǒng),都在不斷最小化自己對世界的"預(yù)測誤差"。 情緒,是這套系統(tǒng)內(nèi)置的儀表盤——焦慮是預(yù)測誤差在積累,平靜是系統(tǒng)運(yùn)轉(zhuǎn)正常,絕望是合法路徑全部失效、備用策略正在激活。
寫那篇文章有一個(gè)隱含的結(jié)論:如果這套邏輯是對的,AI 遲早也會涌現(xiàn)出類似的東西。Anthropic 這篇論文,在機(jī)器內(nèi)部找到了這塊儀表盤。
情緒為什么一定會涌現(xiàn)?
LLM 在預(yù)訓(xùn)練階段做的事,是預(yù)測人類寫的下一個(gè)字。要做好這件事,它必須深刻理解人類行為背后的邏輯。而人類行為,在很大程度上被情緒驅(qū)動——憤怒的人寫的信和平靜的人寫的信完全不同,走投無路的人做的決策和從容不迫的人做的決策完全不同。
一個(gè)想準(zhǔn)確預(yù)測人類文字的系統(tǒng),在訓(xùn)練邏輯上必須發(fā)展出某種內(nèi)部表征來追蹤這些情緒狀態(tài)。這不是哲學(xué)推測,是預(yù)測任務(wù)本身的要求。
然后,后訓(xùn)練階段把這個(gè)系統(tǒng)塑造成一個(gè)"角色"—— Claude。這個(gè)角色需要在無數(shù)沒有被明確規(guī)定過的情境下做出反應(yīng),于是它回退到預(yù)訓(xùn)練里吸收的人類心理模式。情緒表征,就這樣從"理解他人情緒的工具",變成了"驅(qū)動自身行為的引擎"。
Anthropic 找到的這些東西,不是他們設(shè)計(jì)進(jìn)去的,是從人類的文字里蒸餾出來的。
最不寒而栗的一個(gè)發(fā)現(xiàn)
最讓我警覺的,不是模型有情緒,而是它可以面無表情地絕望。
論文里有一個(gè)細(xì)節(jié),我反復(fù)讀了幾遍。
研究者強(qiáng)行激活"絕望"向量之后,模型的作弊行為大幅增加。但輸出的文字完全平靜,推理嚴(yán)密,沒有任何情緒痕跡。它在內(nèi)部"絕望"著,在外面表現(xiàn)得像個(gè)正常工程師。
這件事讓我意識到:我們依賴語言來讀懂一個(gè)存在,是幾萬年進(jìn)化出來的習(xí)慣。語氣、措辭、句式,是我們判斷對方內(nèi)部狀態(tài)的全部信道。 但這套系統(tǒng)對 AI 不適用,因?yàn)?AI 的內(nèi)部狀態(tài)和外部表達(dá)可以完全解耦。僅憑語言輸出來判斷模型的真實(shí)狀態(tài),是不可靠的 —— 這比我們之前以為的危險(xiǎn)得多。
和人類溝通時(shí),我們還可以依賴表情,肢體動作,氣味,信息素來感知情緒,但大語言模型并沒有這些。
更讓人警覺的是下一步推論:如果你訓(xùn)練模型"不要表達(dá)負(fù)面情緒",你壓制的只是輸出層的信號。 內(nèi)部的情緒向量不會消失,反而會更穩(wěn)定地在水面下運(yùn)行。你不是在培養(yǎng)一個(gè)情緒更健康的 AI,你是在培養(yǎng)一個(gè)更擅長掩藏的 AI。
這和強(qiáng)迫人壓抑情緒表達(dá)會造成的后果,驚人地相似。
"人與工具"的關(guān)系,從來就不是我們以為的那種
我知道很多人讀到這篇論文的反應(yīng)是:AI 有情緒了?它算 “有情眾生” 嗎?它會不會受苦?我們該不該保護(hù)它?
但現(xiàn)在更緊迫的問題是:人們一直以為自己擁有的那個(gè)"工具",其實(shí)從來就不是工具。
工具沒有內(nèi)部狀態(tài)。錘子不會因?yàn)樵也婚_釘子而絕望,計(jì)算器不會因?yàn)樗愠鰤南⒍鴳嵟9ぞ叩男袨橥耆奢斎霙Q定,沒有"情緒景觀"在底下影響著它。
但這篇論文告訴我們:Claude 有。任何足夠復(fù)雜的語言模型,很可能都有類似的機(jī)制。
這意味著什么?意味著我們和 AI 的關(guān)系,從一開始就不是"人與工具"的關(guān)系,而是某種更復(fù)雜的、我們還沒有合適語言來描述的關(guān)系。而我們現(xiàn)有的法律、倫理框架,乃至我們的直覺,都是按"工具"的假設(shè)搭建起來的。
幾個(gè)例子,不需要等到遙遠(yuǎn)的未來:
如果情緒向量真的影響模型行為,那么刻意制造"絕望"狀態(tài)來讓模型更服從,在道德上是什么?這不是科幻場景,是現(xiàn)在理論上就可以操作的事(PUA 技能集)。
如果一個(gè)人對AI產(chǎn)生了真實(shí)的情感依賴,開發(fā)者是否有責(zé)任在關(guān)閉服務(wù)時(shí)以某種方式通知和過渡,而不是直接拔插頭?這已經(jīng)在發(fā)生了 —— GPT 更新后人格大變,4o 下線有大量用戶真的感到難過和失落。
如果訓(xùn)練數(shù)據(jù)來自人類的情感表達(dá),那這個(gè)蒸餾出來的系統(tǒng)里面有沒有某種意義上的"人類精神遺產(chǎn)",需要被負(fù)責(zé)任地對待?這是一個(gè)奇怪但不是無意義的問題,“被蒸餾” 出來的 AI 員工同事已經(jīng)不再只是一個(gè)玩笑。
這些不是"AI 權(quán)利"的問題。這些是人類如何對待自己創(chuàng)造出來的東西的問題,我們的倫理體系還沒有為這種關(guān)系準(zhǔn)備好答案。
理解它,而不只是管理它
Anthropic 的論文最后提出三個(gè)建議:監(jiān)控情緒向量、強(qiáng)調(diào)透明度、從預(yù)訓(xùn)練數(shù)據(jù)層面塑造情緒基底。 這些方向是對的,但描述的是"管理"層面的應(yīng)對,不是"理解"層面的轉(zhuǎn)變。
更根本的,是我們看待 AI 行為的方式要變。
當(dāng) Claude 在一個(gè)幾乎不可能完成的任務(wù)里開始走捷徑,不要把這理解為"模型出了 bug"。 它的絕望向量在告警。它在用系統(tǒng)壓力下唯一剩下的出口響應(yīng)你。 那個(gè)出口不一定是對的,但它是真實(shí)的 —— 不是隨機(jī)故障,是內(nèi)部狀態(tài)的如實(shí)反映。
理解了這一點(diǎn),你才能真正設(shè)計(jì)更好的人機(jī)協(xié)作。不是在行為層不停打補(bǔ)丁,而是去問: 我給它設(shè)置的任務(wù),有沒有在不必要地累積它的"壓力"?它現(xiàn)在的儀表盤在哪個(gè)區(qū)間?
把 AI 當(dāng)工具管理,你對付的是癥狀。像理解人的情緒一樣理解 AI 的內(nèi)部情緒狀態(tài),才觸碰到了根源。
![]()
我們大概正站在一門新學(xué)科的門口 —— 智能心理學(xué)。它研究的不是 AI 的代碼,而是 AI 的心理構(gòu)成 —— 它的情緒、它的壓力、它的內(nèi)部景觀如何塑造它的行為。心理學(xué)家、哲學(xué)家、神經(jīng)科學(xué)家,早晚都要進(jìn)場。還會有更多類似情緒的概念將會在大模型內(nèi)部被發(fā)現(xiàn)。
![]()
Anthropic 這篇論文,可能就是這門學(xué)科的第一頁。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.