有損自我改進(jìn)（Lossy Self-Improvement）

為什么自我改進(jìn)是現(xiàn)實(shí)存在的，但它不會(huì)導(dǎo)致 AI 的“瞬間起飛”。

作者：Nathan Lambert 2026年3月23日

如今，在AI圈子里，“快速起飛”（Fast Takeoff）、“技術(shù)奇點(diǎn)”以及“遞歸自我改進(jìn)”（RSI）是每個(gè)人都在關(guān)注的話題。在當(dāng)前的AI產(chǎn)業(yè)中，這些概念確實(shí)包含著真實(shí)的成分：兩三家實(shí)驗(yàn)室正整合成為擁有最強(qiáng)模型（以及構(gòu)建下一個(gè)模型所需資源）的寡頭；當(dāng)今的AI工具正在突發(fā)性地改變工程和研究崗位。

在許多方面，AI研究正變得容易得多。雖然進(jìn)一步擴(kuò)大語言模型訓(xùn)練規(guī)模所需的技能挑戰(zhàn)依然巨大，但能夠處理這些問題的“超人級(jí)”編程助手的出現(xiàn)，打破了許多關(guān)于“構(gòu)建這些東西需要什么”的舊主張。這一切正為我們在AI前沿領(lǐng)域迎來一年（或更久）的飛速進(jìn)步奠定基礎(chǔ)。

我們也正處于語言模型已經(jīng)極其出色的時(shí)代。事實(shí)上，它們已經(jīng)足以勝任大量極具價(jià)值的知識(shí)工作。很難想象語言模型還能再跨出一大步——目前還不清楚除了代碼和基于命令行（CLI）的計(jì)算機(jī)操作之外，它們今年還能掌握哪些任務(wù)。當(dāng)然，會(huì)有一些新突破！這些能力將開啟新的工作模式，并給經(jīng)濟(jì)帶來更多漣漪。

這些劇烈的變化幾乎讓人覺得，語言模型能靠自己不斷加速進(jìn)步是一個(gè)理所當(dāng)然的結(jié)論。這種說法的通俗表達(dá)是“遞歸自我改進(jìn)循環(huán)”（RSI Loop）。關(guān)于這個(gè)話題的早期探討可以追溯到2000年代，比如2008年的一篇博文：

“當(dāng)你把‘重新設(shè)計(jì)你自己的認(rèn)知算法’這個(gè)對象級(jí)問題交給AI時(shí)，遞歸就發(fā)生了。”

稍早一點(diǎn)，在 2007 年，尤德科夫斯基（Yudkowsky）也在《通用智能的組織層級(jí)》中定義了相關(guān)的“種子AI”（Seed AI）概念：

“種子AI是專為自我理解、自我修改和遞歸自我改進(jìn)而設(shè)計(jì)的AI。……種子 AI 的后期后果（如真正的遞歸自我改進(jìn)）只有在AI實(shí)現(xiàn)了顯著的整體理解和通用智能之后才會(huì)顯現(xiàn)。”

考慮到當(dāng)今模型的通用性和實(shí)用性，認(rèn)為我們正處于這個(gè)階段的起點(diǎn)是合理的。

通常，遞歸自我改進(jìn)（RSI）可以總結(jié)為：當(dāng)AI能改進(jìn)自身時(shí)，改進(jìn)后的版本能更高效地進(jìn)行下一次改進(jìn)，從而創(chuàng)建一個(gè)封閉的放大循環(huán)，導(dǎo)致“智能爆炸”，即所謂的奇點(diǎn)。這其中包含幾個(gè)假設(shè)。RSI要發(fā)生，必須滿足：

1. 循環(huán)是封閉的： 模型能不斷改進(jìn)自身并孕育出下一代模型。
2. 循環(huán)是自我放大的： 下一代模型能比當(dāng)前模型產(chǎn)生更大的進(jìn)步。
3. 循環(huán)持續(xù)運(yùn)行且不損失效率： 不存在增加的摩擦力使指數(shù)級(jí)增長提前變成“S型曲線”（Sigmoid）。

雖然我同意未來幾年持續(xù)的AI進(jìn)步將帶來重大的、社會(huì)不穩(wěn)定的變化，但我預(yù)計(jì)，當(dāng)我們回過頭來看時(shí)，進(jìn)步的趨勢線將更接近線性而非指數(shù)級(jí)。我認(rèn)為，發(fā)生的將不是遞歸自我改進(jìn)，而是“有損自我改進(jìn)”（Lossy Self-Improvement, LSI）——模型成為了開發(fā)循環(huán)的核心，但各種摩擦力打破了RSI的所有核心假設(shè)。你投入的算力和智能體越多，出現(xiàn)的損耗和重復(fù)就越多。

我依然相信，先進(jìn)系統(tǒng)的“復(fù)雜性制動(dòng)器”（Complexity Brake）將是一個(gè)強(qiáng)大的抗衡力量，抵消模型在各項(xiàng)細(xì)分任務(wù)上變強(qiáng)的事實(shí)。我在2025年4月曾引用過這個(gè)觀點(diǎn)：

微軟聯(lián)合創(chuàng)始人保羅·艾倫提出了“復(fù)雜性制動(dòng)器”理論：科學(xué)越接近理解智能，取得額外進(jìn)展就越困難。對專利數(shù)量的研究顯示，人類的創(chuàng)造力并沒有表現(xiàn)出加速回報(bào)，事實(shí)上，如約瑟夫·泰恩特在《復(fù)雜社會(huì)的崩潰》中所述，它呈現(xiàn)出收益遞減規(guī)律。復(fù)雜性的增長最終會(huì)自我限制，并導(dǎo)致廣泛的“通用系統(tǒng)崩潰”。

在現(xiàn)有的模型訓(xùn)練方式、模型所需的深層直覺以及構(gòu)建模型的組織中，有大量例子顯示損耗來自何處。構(gòu)建領(lǐng)先的語言模型極其復(fù)雜，而且正變得越來越復(fù)雜。我認(rèn)為核心摩擦力有以下三點(diǎn)：

1. 可自動(dòng)化的研究過于狹隘

首先，很明顯，今年的語言模型已經(jīng)可以作為工具，在優(yōu)化局部任務(wù)（如降低模型的測試損失值）方面大顯身手。安德烈·卡帕斯（Andrey Karpathy）最近推出的AutoResearch讓這種做法流行起來。這允許AI智能體直接在GPU上操作，目標(biāo)是降低測試集上的損失。

這種方法在狹窄領(lǐng)域（如單一的測試損失或整體獎(jiǎng)勵(lì)）有效。問題在于，“賬面上更精確的模型”與“用戶覺得更有生產(chǎn)力的模型”之間長期存在鴻溝。 縮放法則（Scaling Laws）顯示損失會(huì)持續(xù)下降，但我們不知道這是否會(huì)在經(jīng)濟(jì)上產(chǎn)生更大價(jià)值。

在后期訓(xùn)練（Post-training）中，強(qiáng)化學(xué)習(xí)算法至少與特定性能增益聯(lián)系得更緊密。但我依然擔(dān)心其泛化能力，以及它是否能真正轉(zhuǎn)化為“擅長構(gòu)建自身和設(shè)計(jì)實(shí)驗(yàn)”的模型。我們已經(jīng)看到許多 AI 能力在人類品味的某些水平上趨于飽和，比如寫作質(zhì)量。AI研究雖然不同（天花板更高），但模型會(huì)因搜索空間和優(yōu)化目標(biāo)過于寬廣而陷入飽和。最好的研究員所做的是——讓許多可擴(kuò)展的想法協(xié)同工作，而不僅僅是優(yōu)化單一指標(biāo)。

2. 并行AI智能體的收益遞減

AI快速進(jìn)步面臨的最大問題是：即使我們在數(shù)據(jù)中心擁有 10,000 名遠(yuǎn)程“AI員工”，也幾乎不可能將他們?nèi)考性谝粋€(gè)問題上。本質(zhì)上，當(dāng)模型仍然非常相似時(shí)，它們是從相同的解空間和能力分布中進(jìn)行采樣，同時(shí)受到人類監(jiān)督的瓶頸限制。增加更多智能體，在邊際性能提升上會(huì)遇到嚴(yán)格的飽和點(diǎn)——少數(shù)最頂尖研究員的直覺（以及運(yùn)行實(shí)驗(yàn)的時(shí)間）將是最終的瓶頸。

這里可以用阿姆達(dá)爾定律（Amdahl’s Law）來類比：一項(xiàng)任務(wù)能產(chǎn)生的加速，取決于有多少部分可以并行化。想象一個(gè)研究員從親手寫代碼，到使用AI自動(dòng)補(bǔ)全，再到使用自主編碼智能體。這些都是巨大的飛躍。但現(xiàn)在，如果讓一個(gè)研究員每天嘗試組織30-40個(gè)智能體工作呢？有些人能從中榨取價(jià)值，但不多。你能想象有人每天能為AI智能體想出300-400個(gè)任務(wù)嗎？沒多少人能做到。這個(gè)問題很快也會(huì)撞上AI模型的瓶頸。

3. 資源瓶頸與政治博弈

從根本上說，所有AI公司都在走鋼絲：獲取巨額資本、將算力轉(zhuǎn)化為收入、同時(shí)在研發(fā)上投入天文數(shù)字。由于資源規(guī)模如此巨大，資源分配和押注目標(biāo)上總會(huì)存在政治瓶頸。即便模型持續(xù)改進(jìn)，這種摩擦力也永遠(yuǎn)不會(huì)消除。AI模型從根本上是在由人類掌控資源瓶頸的組織中運(yùn)行的。百億美元規(guī)模的研發(fā)算力不太可能完全孤立出來，交給AI模型進(jìn)行端到端的自由實(shí)驗(yàn)。

結(jié)論

我們的工作確實(shí)正變得節(jié)奏更快、效率更高。問題在于，所有這些維度都有明確的人類、政治或技術(shù)復(fù)雜性瓶頸。

每一條S型曲線的底部看起來都像指數(shù)級(jí)增長。2026年會(huì)感覺像是一大步，但并沒有根本性的變化讓我相信進(jìn)步會(huì)從此“一飛沖天”。這可能會(huì)跨越所謂的AGI門檻（即能夠替代大多數(shù)遠(yuǎn)程辦公者），但這更多是改變了工作的定義。

我們正處于“有損自我改進(jìn)”（LSI）時(shí)代。AI模型正在執(zhí)行自我改進(jìn)，但它們并沒有改變方法論。我們正在擴(kuò)大研發(fā)實(shí)踐和工具的算力投入，但收益在遞減。智能體將成為我們共事的自主實(shí)體，它們感覺像是天才與5歲小孩的混合體。這種“有損”的進(jìn)步足以讓行業(yè)超速運(yùn)轉(zhuǎn)，但不足以支撐一場瞬間爆發(fā)的智能爆炸。

本文編譯自substack，原文作者Nathan Lambert

https://substack.com/@natolambert/p-191707266