終于，學(xué)界找到了深度學(xué)習(xí)的「牛頓定律」

來(lái)源：機(jī)器之心

編輯：冷貓

深度學(xué)習(xí)到底有沒(méi)有科學(xué)理論？

這是一個(gè)很微妙的時(shí)代。一邊是大模型以令人眩暈的速度迭代，參數(shù)量從百億沖向萬(wàn)億；另一邊是學(xué)術(shù)界的一片沉默 —— 我們依然沒(méi)有找到深度學(xué)習(xí)的基本理論，神經(jīng)網(wǎng)絡(luò)仍然是個(gè)黑盒子。

LeCun 在 X 上直言不諱：「深度學(xué)習(xí)的理論基礎(chǔ)仍然是一片荒原。」Geoffrey Hinton 多次在公開(kāi)場(chǎng)合表達(dá)類(lèi)似觀(guān)點(diǎn)：深度學(xué)習(xí)的成功更像煉金術(shù)而非科學(xué) —— 我們知道什么有效，但不知道為什么有效。

但就在這片荒原上，一道裂縫正在被撬開(kāi)。

最近，由來(lái)自 UC Berkeley、哈佛、斯坦福等名校的 14 名研究者組成的研究團(tuán)隊(duì)發(fā)表了一篇論文，系統(tǒng)性地梳理了過(guò)去十年間散落在各處的理論碎片，并將它們拼成了一幅完整的圖景。

他們給這個(gè)正在形成的理論體系起了一個(gè)名字 ——Learning Mechanics（學(xué)習(xí)力學(xué)）。

• 論文標(biāo)題：There Will Be a Scientific Theory of Deep Learning

• 論文鏈接：https://arxiv.org/pdf/2604.21691

就像經(jīng)典力學(xué)統(tǒng)一了天體運(yùn)動(dòng)與地面落體、統(tǒng)計(jì)力學(xué)架起了微觀(guān)粒子與宏觀(guān)熱現(xiàn)象之間的橋梁、量子力學(xué)重新定義了物質(zhì)的基本存在方式一樣，「學(xué)習(xí)力學(xué)」試圖為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程建立一套第一性原理級(jí)別的科學(xué)框架。

基礎(chǔ)理論去哪了？

過(guò)去十五年，深度學(xué)習(xí)的每一次突破幾乎都來(lái)自工程直覺(jué)和大規(guī)模實(shí)驗(yàn)，而非理論推導(dǎo)。AlexNet 靠的是 GPU 并行計(jì)算的偶然發(fā)現(xiàn)；ResNet 來(lái)自何愷明對(duì)梯度消失問(wèn)題的修補(bǔ)；Transformer 的注意力機(jī)制最初是為了解決序列建模中的長(zhǎng)距離依賴(lài)……

這種「先做出來(lái)再說(shuō)」的模式帶來(lái)了驚人的應(yīng)用成果，但也留下了一個(gè)尷尬的現(xiàn)實(shí)：深度學(xué)習(xí)研究者，面對(duì)一個(gè)訓(xùn)練失敗的模型，往往只能靠經(jīng)驗(yàn)和運(yùn)氣來(lái)調(diào)參。

論文研究團(tuán)隊(duì)的核心貢獻(xiàn)在于識(shí)別出五條研究線(xiàn)索。它們分別是：

• 可解的理想化設(shè)定：在簡(jiǎn)化條件下，我們能否精確求解神經(jīng)網(wǎng)絡(luò)的動(dòng)力學(xué)？—— 深度線(xiàn)性網(wǎng)絡(luò)的全局最優(yōu)解、NTK 極限下的諧振子類(lèi)比，對(duì)應(yīng)物理學(xué)中的諧振子與氫原子。

• 可處理的極限：當(dāng)網(wǎng)絡(luò)趨向某些極端時(shí)，行為是否變得可預(yù)測(cè)？—— 寬網(wǎng)絡(luò)極限下的惰性 / 豐富二分法、深度 / 批量 / 學(xué)習(xí)率極限，對(duì)應(yīng)熱力學(xué)極限。

• 經(jīng)驗(yàn)定律：是否存在跨越架構(gòu)和數(shù)據(jù)集的普適規(guī)律？—— 神經(jīng)縮放律、穩(wěn)定性邊緣（Edge of Stability），對(duì)應(yīng)開(kāi)普勒定律與斯涅爾定律。

• 超參數(shù)理論：能否實(shí)現(xiàn)超參數(shù)的零樣本遷移？——μP 參數(shù)化、中心流、超參數(shù)解耦與消除，對(duì)應(yīng)量綱分析。

• 普適行為：不同架構(gòu) / 數(shù)據(jù)集學(xué)到的表征為何如此相似？—— 表征收斂現(xiàn)象、通用表征假設(shè)，對(duì)應(yīng)臨界普適性。

這五條線(xiàn)索并非平行發(fā)展，而是正在向同一個(gè)核心匯聚 ——一個(gè)能夠描述神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的統(tǒng)一理論框架。

我們知道，在拉瓦錫之前，化學(xué)本質(zhì)上也是「煉金術(shù)」—— 人們知道混合某些物質(zhì)會(huì)產(chǎn)生特定反應(yīng)，但不理解背后的原子機(jī)理。直到元素周期表和化學(xué)反應(yīng)理論的建立，化學(xué)才從經(jīng)驗(yàn)積累躍升為一門(mén)精密科學(xué)。

深度學(xué)習(xí)正處于類(lèi)似的轉(zhuǎn)折點(diǎn)。過(guò)去十年的高速增長(zhǎng)，本質(zhì)上是經(jīng)驗(yàn)主義驅(qū)動(dòng)的「煉金時(shí)代」—— 我們發(fā)現(xiàn)了很多有效的配方（ResNet、Transformer、Adam 優(yōu)化器），但對(duì)這些配方為什么有效缺乏根本性的理解。

「學(xué)習(xí)力學(xué)」的目標(biāo)，就是成為深度學(xué)習(xí)領(lǐng)域的「元素周期表」。

「學(xué)習(xí)力學(xué)」的五根支柱：物理學(xué)的雙子星

這是整篇論文最精彩的部分。

可解的理想化設(shè)定 —— 神經(jīng)網(wǎng)絡(luò)里的「氫原子」

物理學(xué)的發(fā)展史告訴我們：任何成熟的理論都必須從一個(gè)可以精確求解的簡(jiǎn)化模型開(kāi)始。經(jīng)典力學(xué)有諧振子和開(kāi)普勒問(wèn)題，量子力學(xué)有氫原子 —— 這些都是高度理想化的系統(tǒng)，但它們提供了理解更復(fù)雜系統(tǒng)的概念基礎(chǔ)。

深度學(xué)習(xí)領(lǐng)域也找到了自己的「氫原子」：

深度線(xiàn)性網(wǎng)絡(luò)（Deep Linear Networks）。 當(dāng)激活函數(shù)被替換為恒等映射時(shí)，一個(gè)任意深度的多層感知機(jī)退化為一個(gè)矩陣乘積。

研究者證明了 SGD 在這種網(wǎng)絡(luò)上總能找到全局最優(yōu)解，并且可以精確描述每一步更新的軌跡。更重要的是，深度線(xiàn)性網(wǎng)絡(luò)的許多定性特征（如奇異值的動(dòng)態(tài)演化）在非線(xiàn)性網(wǎng)絡(luò)中也得到了保留。

NTK（Neural Tangent Kernel）極限。 當(dāng)神經(jīng)網(wǎng)絡(luò)的寬度趨于無(wú)窮大時(shí)，網(wǎng)絡(luò)在訓(xùn)練過(guò)程中的行為可以用一個(gè)固定的核函數(shù)來(lái)描述 —— 這就是 NTK 理論的核心洞見(jiàn)。在這個(gè)極限下，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練等價(jià)于在由 NTK 定義的再生核希爾伯特空間（RKHS）中進(jìn)行核回歸。這意味著我們可以用核方法的語(yǔ)言來(lái)精確預(yù)測(cè)無(wú)窮寬網(wǎng)絡(luò)的訓(xùn)練動(dòng)態(tài)。

論文特別強(qiáng)調(diào)了 NTK 與量子力學(xué)的類(lèi)比：NTK 極限下的神經(jīng)網(wǎng)絡(luò)，其行為類(lèi)似于量子力學(xué)中的諧振子或氫原子 —— 兩者都是可以通過(guò)解析方法完全求解的「玩具模型」，但又蘊(yùn)含著真實(shí)系統(tǒng)的關(guān)鍵物理特征。

在無(wú)限寬度下，網(wǎng)絡(luò)的輸出函數(shù)。關(guān)于參數(shù) θ 的變化可以用一個(gè)時(shí)間無(wú)關(guān)的核函數(shù)來(lái)刻畫(huà)，而這個(gè)核函數(shù)在訓(xùn)練過(guò)程中保持不變 —— 這與量子系統(tǒng)中哈密頓量守恒有著異曲同工之妙。

可處理的極限 —— 當(dāng)網(wǎng)絡(luò)變得「無(wú)限大」

如果上一部分問(wèn)的是「最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)是什么」，那么這部分問(wèn)的就是「當(dāng)網(wǎng)絡(luò)的某個(gè)維度推向極端時(shí)會(huì)發(fā)生什么」。這正是物理學(xué)中熱力學(xué)極限的思維模式：通過(guò)研究粒子數(shù)趨于無(wú)窮的系統(tǒng)，獲得對(duì)有限系統(tǒng)的洞察。

深度學(xué)習(xí)中已經(jīng)發(fā)現(xiàn)了多個(gè)這樣的「極限」：

寬網(wǎng)絡(luò)極限（Lazy vs. Rich Regime）。 這是近年來(lái)最重要的理論發(fā)現(xiàn)之一。當(dāng)網(wǎng)絡(luò)寬度增加時(shí)，訓(xùn)練動(dòng)態(tài)會(huì)進(jìn)入兩種截然不同的狀態(tài)：

• 惰性 regime（Lazy Training）：網(wǎng)絡(luò)參數(shù)幾乎不離開(kāi)初始化附近，功能上等價(jià)于核方法。此時(shí)網(wǎng)絡(luò)的表現(xiàn)像一個(gè)「懶惰的學(xué)生」—— 它不愿意真正改變自己，只是用初始狀態(tài)的微小擾動(dòng)來(lái)擬合數(shù)據(jù)。

• 豐富 regime（Feature Learning）：網(wǎng)絡(luò)的特征表示在訓(xùn)練過(guò)程中發(fā)生實(shí)質(zhì)性變化，真正學(xué)會(huì)了有用的內(nèi)部表征。

這兩種 regime 之間的轉(zhuǎn)變?nèi)Q于寬度、深度、學(xué)習(xí)率和批量大小之間的微妙平衡。這一工作嚴(yán)格刻畫(huà)了這個(gè)相變邊界，而論文指出這一發(fā)現(xiàn)的意義遠(yuǎn)超技術(shù)細(xì)節(jié) —— 它揭示了神經(jīng)網(wǎng)絡(luò)訓(xùn)練中存在真正的「相變」現(xiàn)象，就像水在 0°C 結(jié)冰一樣，神經(jīng)網(wǎng)絡(luò)的行為在某些臨界點(diǎn)會(huì)發(fā)生質(zhì)的改變。

其他重要極限還包括：

• 深度極限：當(dāng)層數(shù)趨于無(wú)窮時(shí)，某些架構(gòu)表現(xiàn)出連續(xù)動(dòng)力學(xué)的特征

• 批量極限：大批量訓(xùn)練與小批量訓(xùn)練之間存在系統(tǒng)性差異

• 學(xué)習(xí)率極限：極小學(xué)習(xí)率對(duì)應(yīng)梯度流，極大學(xué)習(xí)率則觸發(fā)全新的動(dòng)力學(xué)

這些極限研究的共同價(jià)值在于：它們將離散的、有限的經(jīng)驗(yàn)觀(guān)察，轉(zhuǎn)化為連續(xù)的、可分析的數(shù)學(xué)對(duì)象。

經(jīng)驗(yàn)定律 —— 深度學(xué)習(xí)版的「開(kāi)普勒定律」

這部分是實(shí)證發(fā)現(xiàn) —— 就像開(kāi)普勒從第谷的觀(guān)測(cè)數(shù)據(jù)中提煉出行星運(yùn)動(dòng)三定律一樣，深度學(xué)習(xí)研究者也從海量實(shí)驗(yàn)中總結(jié)出了若干跨越架構(gòu)和數(shù)據(jù)集的普適規(guī)律。

神經(jīng)縮放律（Neural Scaling Laws）是其中最著名的一個(gè)。模型的測(cè)試損失隨計(jì)算量、參數(shù)量或數(shù)據(jù)量的增加呈現(xiàn)冪律衰減：

其中 α 是依賴(lài)于任務(wù)和架構(gòu)的冪律指數(shù)。這個(gè)規(guī)律的驚人之處在于它的普適性：無(wú)論你用的是 Transformer 還是 ResNet，無(wú)論任務(wù)是語(yǔ)言建模還是圖像分類(lèi)，冪律關(guān)系都成立，只是指數(shù)不同。

另一個(gè)重要的經(jīng)驗(yàn)規(guī)律是穩(wěn)定性邊緣（Edge of Stability, EoS）。當(dāng)使用較大學(xué)習(xí)率訓(xùn)練時(shí)，梯度的最大特征值（即 Hessian 矩陣的最大特征值）會(huì)自動(dòng)穩(wěn)定在 2/η 附近（ η 為學(xué)習(xí)率）。

這種現(xiàn)象被稱(chēng)為「穩(wěn)定性邊緣」，它暗示了深度學(xué)習(xí)優(yōu)化過(guò)程中存在某種自組織臨界性（Self-Organized Criticality）—— 這與沙堆坍塌、地震發(fā)生等自然界中的臨界現(xiàn)象共享相同的數(shù)學(xué)結(jié)構(gòu)。

論文將其類(lèi)比為光學(xué)中的斯涅爾定律（Snell's Law）：斯涅爾描述了光在不同介質(zhì)界面上的折射行為但沒(méi)有解釋其底層原因（那需要麥克斯韋方程組）；EoS 描述了訓(xùn)練過(guò)程中梯度穩(wěn)定在臨界值的現(xiàn)象，但其深層機(jī)制仍有待「學(xué)習(xí)力學(xué)」的完整框架來(lái)揭示。

超參數(shù)理論 —— 深度學(xué)習(xí)版的「量綱分析」

任何一個(gè)調(diào)過(guò)模型的人都知道痛苦：學(xué)習(xí)率設(shè)太大爆炸，太小不收斂；batch size 和學(xué)習(xí)率必須配合調(diào)整；不同層的權(quán)重衰減該不該一樣？這些超參數(shù)的選擇長(zhǎng)期以來(lái)依賴(lài)經(jīng)驗(yàn)和網(wǎng)格搜索，缺乏系統(tǒng)性的指導(dǎo)原則。

μP（Maximal Update Parameterization）的出現(xiàn)改變了這一切。 μP 框架提供了一種優(yōu)雅的解決方案：通過(guò)對(duì)參數(shù)初始化和更新規(guī)則進(jìn)行特定的縮放變換，使得超參數(shù)可以在不同規(guī)模的模型之間零樣本遷移。也就是說(shuō)，你在一個(gè)小模型上調(diào)好的學(xué)習(xí)率，可以直接用到同架構(gòu)的大模型上而無(wú)需重新調(diào)整。

μP 本質(zhì)上是深度學(xué)習(xí)中的「量綱分析」（Dimensional Analysis）。

在物理學(xué)中，量綱分析允許我們?cè)诓煌耆谰唧w方程的情況下，僅通過(guò)檢查物理量的量綱一致性就能得出重要結(jié)論。μP 做的事情類(lèi)似：它不需要知道損失景觀(guān)的具體形狀，只需要保證不同規(guī)模下優(yōu)化的「量綱」一致，就能實(shí)現(xiàn)超參數(shù)的可遷移性。

論文還提到了兩個(gè)相關(guān)的重要概念：

中心流（Central Flow）。 這是一種新的參數(shù)化方案，旨在讓優(yōu)化軌跡在參數(shù)空間中保持良好的幾何性質(zhì)，避免因尺度不一致導(dǎo)致的優(yōu)化困難。

超參數(shù)解耦與消除（Decoupling and Elimination of Hyperparameters）。 更激進(jìn)的想法是：能否從根本上減少自由超參數(shù)的數(shù)量？如果能證明某些超參數(shù)在理論上是不必要的（或者說(shuō)可以被其他參數(shù)吸收），那么調(diào)參這件事本身就會(huì)大幅簡(jiǎn)化。

普適行為 —— 不同的網(wǎng)絡(luò)學(xué)到驚人的相似

不同架構(gòu)的神經(jīng)網(wǎng)絡(luò)，在不同的數(shù)據(jù)集上訓(xùn)練之后，學(xué)到的內(nèi)部表征竟然高度相似。 這個(gè)現(xiàn)象被稱(chēng)為表征收斂（Representation Convergence）或通用表征假設(shè)（Universal Representation Hypothesis）。

具體來(lái)說(shuō)，如果你訓(xùn)練兩個(gè)完全不同的網(wǎng)絡(luò) —— 一個(gè)是 ResNet，一個(gè)是 Vision Transformer—— 在 ImageNet 上訓(xùn)練到收斂，然后比較它們中間層的激活模式，你會(huì)發(fā)現(xiàn)它們的表征結(jié)構(gòu)出奇地一致。更神奇的是，這種一致性甚至跨模態(tài)存在：視覺(jué)網(wǎng)絡(luò)和語(yǔ)言網(wǎng)絡(luò)在某些抽象層面上展現(xiàn)出相似的表征組織方式。

論文將這一現(xiàn)象類(lèi)比為物理學(xué)中的臨界普適性（Critical Universality）。在統(tǒng)計(jì)力學(xué)中，完全不同的物理系統(tǒng)（如鐵磁體和液體 - 氣體相變）在接近臨界點(diǎn)時(shí)會(huì)表現(xiàn)出相同的行為 —— 它們的臨界指數(shù)只依賴(lài)于空間的維數(shù)和序參量的對(duì)稱(chēng)性，而與微觀(guān)細(xì)節(jié)無(wú)關(guān)。這被稱(chēng)為「普適性類(lèi)」（Universality Class）。

如果深度學(xué)習(xí)也存在類(lèi)似的普適性，那就意味著：不管你用什么架構(gòu)、什么初始化、什么優(yōu)化器，只要滿(mǎn)足某些基本條件，網(wǎng)絡(luò)就會(huì)收斂到同一類(lèi)「吸引子」表征上。 這不僅能解釋為什么不同模型的表現(xiàn)趨于一致，也為理解智能的本質(zhì)提供了新的視角 —— 也許智能本身就對(duì)應(yīng)著某個(gè)高維空間中的「普適性吸引子」。

十個(gè)未解之謎

論文的最后部分坦誠(chéng)地列出了十個(gè)尚未解決的關(guān)鍵問(wèn)題。這些問(wèn)題既是挑戰(zhàn)，也是路線(xiàn)圖 —— 任何一個(gè)的突破都可能推動(dòng)「學(xué)習(xí)力學(xué)」從愿景變?yōu)楝F(xiàn)實(shí)。

1.非線(xiàn)性動(dòng)力學(xué)的解析理論。目前大部分可解結(jié)果局限于線(xiàn)性網(wǎng)絡(luò)或無(wú)限寬極限。真實(shí)的有限寬度非線(xiàn)性網(wǎng)絡(luò)的訓(xùn)練動(dòng)力學(xué)仍然是黑洞。

2.縮放律的起源與斷裂點(diǎn)。冪律關(guān)系為什么成立？它在什么條件下會(huì)失效？最近的一些工作暗示縮放律可能在極高規(guī)模下出現(xiàn)相變。

3.惰性與豐富 Regime 的完整相圖。 我們知道兩種 regime 都存在，但它們之間的過(guò)渡區(qū)域是什么樣子的？是否存在第三種 regime？

4.超參數(shù)的「標(biāo)準(zhǔn)模型」。能否建立一個(gè)統(tǒng)一的框架，將 μP、中心流等各種參數(shù)化方案納入其中，并給出完整的超參數(shù)選擇指南？

5.表征收斂的數(shù)學(xué)證明。普適行為目前主要是實(shí)證觀(guān)察。能否從優(yōu)化動(dòng)力學(xué)的角度嚴(yán)格證明表征必然收斂？

6.泛化誤差的理論上界。為什么過(guò)參數(shù)化的網(wǎng)絡(luò)（參數(shù)遠(yuǎn)多于樣本數(shù)）不會(huì)嚴(yán)重過(guò)擬合？這個(gè)問(wèn)題困擾了統(tǒng)計(jì)學(xué)習(xí)理論二十年。

7.架構(gòu)設(shè)計(jì)的理論指導(dǎo)。能否從第一性原理出發(fā)推導(dǎo)出最優(yōu)的網(wǎng)絡(luò)架構(gòu)，而不是靠試錯(cuò)？

8.語(yǔ)言與推理的涌現(xiàn)機(jī)制。In-context learning、思維鏈推理等能力是在什么條件下涌現(xiàn)的？能否預(yù)測(cè)和控制這種涌現(xiàn)？

9.物理對(duì)稱(chēng)性與神經(jīng)網(wǎng)絡(luò)歸納偏置的聯(lián)系。物理世界具有平移不變性、旋轉(zhuǎn)對(duì)稱(chēng)性、尺度不變性等 —— 神經(jīng)網(wǎng)絡(luò)是否天然編碼了這些對(duì)稱(chēng)性？還是說(shuō)這些對(duì)稱(chēng)性是從數(shù)據(jù)中學(xué)到的？

10.「學(xué)習(xí)力學(xué)」的形式化公理體系。最終，我們需要一套類(lèi)似牛頓三定律或量子力學(xué)公理的嚴(yán)謹(jǐn)數(shù)學(xué)框架，而不僅僅是類(lèi)比和啟發(fā)式論證。

在過(guò)去，關(guān)于深度學(xué)習(xí)理論的問(wèn)題通常是怎么讓模型更高效。「學(xué)習(xí)力學(xué)」提出的則是另一種層次的問(wèn)題：「支配神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的底層規(guī)律是什么？」

科學(xué)史上，這樣的時(shí)刻并不多見(jiàn)。牛頓在蘋(píng)果樹(shù)下思考引力的時(shí)候，開(kāi)普勒的行星數(shù)據(jù)已經(jīng)在書(shū)架上等了他半個(gè)世紀(jì)。達(dá)爾文在貝格爾號(hào)上收集標(biāo)本的時(shí)候，孟德?tīng)柕耐愣箤?shí)驗(yàn)已經(jīng)在修道院的花園里默默進(jìn)行了八年。

而今天，在 AI 領(lǐng)域每天涌出的無(wú)數(shù)的進(jìn)展背后，在每一個(gè)深夜還在跑實(shí)驗(yàn)的 GPU 集群里，在每一次模型進(jìn)化的歡呼中 ——「學(xué)習(xí)力學(xué)」所需的全部碎片，可能已經(jīng)散落在那里了。

需要的只是有人把它們撿起來(lái)，拼在一起。

閱讀最新前沿科技趨勢(shì)報(bào)告，請(qǐng)?jiān)L問(wèn)21世紀(jì)關(guān)鍵技術(shù)研究院的“未來(lái)知識(shí)庫(kù)”

未來(lái)知識(shí)庫(kù)是 “21世紀(jì)關(guān)鍵技術(shù)研究院”建 立的在線(xiàn)知識(shí)庫(kù)平臺(tái)，收藏的資料范圍包括人工智能、腦科學(xué)、互聯(lián)網(wǎng)、超級(jí)智能，數(shù)智大腦、能源、軍事、經(jīng)濟(jì)、人類(lèi)風(fēng)險(xiǎn)等等領(lǐng)域的前沿進(jìn)展與未來(lái)趨勢(shì)。目前擁有超過(guò)8000篇重要資料。每周更新不少于100篇世界范圍最新研究資料。 歡迎掃描二維碼或訪(fǎng)問(wèn)https://wx.zsxq.com/group/454854145828進(jìn)入。

截止到2月28日 ”未來(lái)知識(shí)庫(kù)”精選的百部前沿科技趨勢(shì)報(bào)告

（加入未來(lái)知識(shí)庫(kù)，全部資料免費(fèi)閱讀和下載）