序列特征恢復(fù)中的標(biāo)度律：一個可解層次模型

序列特征恢復(fù)中的標(biāo)度律：一個可解層次模型

Scaling Laws from Sequential Feature Recovery:A Solvable Hierarchical Model

https://arxiv.org/pdf/2605.14567

摘要

我們提出了一種簡單的機制，解釋了縮放定律如何從多層網(wǎng)絡(luò)中的特征學(xué)習(xí)中涌現(xiàn)。我們研究了一個高維層次化目標(biāo)，該目標(biāo)在全局上是一個高階函數(shù)，但可以通過潛在組合特征的組合來表示，這些特征的權(quán)重按冪律衰減。我們表明，一種適應(yīng)于此組合結(jié)構(gòu)的逐層譜算法，相較于淺層、非自適應(yīng)方法，能夠?qū)崿F(xiàn)更優(yōu)的縮放性能，并順序地恢復(fù)潛在方向：強特征在小樣本量下即可被檢測到，而弱特征則需要更多數(shù)據(jù)。我們證明了針對單個特征的尖銳恢復(fù)閾值，并表明聚合這些躍遷會產(chǎn)生預(yù)測誤差的顯式冪律衰減。在技術(shù)層面，該分析依賴于隨機矩陣方法和基于預(yù)解式的微擾論證，這為單個特征向量的恢復(fù)提供了匹配的上下界，超越了標(biāo)準(zhǔn)基于譜間隙的微擾界所能提供的范圍。數(shù)值實驗證實了預(yù)測的順序恢復(fù)、閾值的有限尺寸平滑效應(yīng)，以及與非層次化核基線方法的分離。綜上所述，這些結(jié)果表明平滑的縮放定律如何從一系列尖銳的特征學(xué)習(xí)躍遷中涌現(xiàn)。

1 引言

盡管神經(jīng)網(wǎng)絡(luò)在經(jīng)驗上取得了成功，我們?nèi)匀蝗狈σ环N預(yù)測性理論來回答一個看似簡單的問題：給定一個結(jié)構(gòu)化的學(xué)習(xí)問題，哪些特征會被首先學(xué)習(xí)，以及它們的順序發(fā)現(xiàn)如何轉(zhuǎn)化為統(tǒng)計效率？這個問題位于三個活躍研究方向的交匯處。首先，神經(jīng)縮放定律表明，大模型的性能在數(shù)據(jù)、算力或模型規(guī)模上遵循冪律（Kaplan等，2020；Brown等，2020；Hoffmann等，2022；Bahri等，2024）。然而，大多數(shù)數(shù)學(xué)理論依賴于線性化模型、核模型或隨機特征模型，其中相關(guān)表征是預(yù)先固定的，學(xué)習(xí)過程由該表征的譜所控制（Caponnetto和De Vito，2007；Bordelon等，2020；Spigler等，2020；Cui等，2021，2023；Defilippis等，2024）。其次，許多工作強調(diào)特征學(xué)習(xí)不一定是平滑的：訓(xùn)練過程可能表現(xiàn)出平臺期、風(fēng)險的急劇下降，以及特征或概念的順序涌現(xiàn)（Saxe等，2014；Wei等，2022；Schaeffer等，2023；Ren等，2025；Defilippis等，2026a）。第三，近期的理論開始分離深度在組合任務(wù)中的計算優(yōu)勢，即更深的架構(gòu)能夠發(fā)現(xiàn)淺層方法無法訪問的中間表征（Cagnetta等，2024；Garnier-Brun等，2025；Dandi等，2025；Wang等，2023；Nichani等，2024；Fu等，2025；Tabanelli等，2026）。

本文探討縮放定律是否并非源于固定的譜偏置，而是源于數(shù)據(jù)中相關(guān)特征的逐步揭示，正如深度神經(jīng)網(wǎng)絡(luò)中可能發(fā)生的那樣。我們研究了一個在數(shù)學(xué)上可處理的高維任務(wù)，該任務(wù)需要跨多個層恢復(fù)隱藏特征。這些潛在特征通過具有冪律分布的權(quán)重進(jìn)行組合。統(tǒng)計上檢測單個特征所需的樣本量與特征強度的平方成反比：強特征首先被學(xué)習(xí)，弱特征隨后被學(xué)習(xí)，而預(yù)測誤差由尚未恢復(fù)的隱藏譜尾部所主導(dǎo)。高效求解該任務(wù)需要解開組合結(jié)構(gòu)。這種層次結(jié)構(gòu)與各向異性的結(jié)合，導(dǎo)致適應(yīng)或未適應(yīng)任務(wù)幾何的預(yù)測器產(chǎn)生不同的縮放定律。

我們通過數(shù)值實驗對理論進(jìn)行了補充，驗證了潛在方向的順序恢復(fù)、預(yù)測的尖銳漸近閾值的有限尺寸平滑效應(yīng)，以及由此產(chǎn)生的均方誤差衰減。我們還將層次化譜方法與非層次化核基線方法進(jìn)行了比較。這些比較說明了組合結(jié)構(gòu)的作用：盡管目標(biāo)是輸入的高階函數(shù)，但利用其層次結(jié)構(gòu)允許學(xué)習(xí)者在更低的樣本尺度下恢復(fù)相關(guān)的潛在表征。

我們的主要貢獻(xiàn)如下：

? 我們引入了一項結(jié)合層次結(jié)構(gòu)與組合結(jié)構(gòu)的高維任務(wù)，為研究縮放定律提供了一個可處理的設(shè)定，在該設(shè)定中，深度和特征學(xué)習(xí)對于高效學(xué)習(xí)都是必需的。

? 我們在高維極限下證明了譜算法恢復(fù)單個潛在方向的尖銳樣本復(fù)雜度閾值。我們的結(jié)果基于一種超越該問題標(biāo)準(zhǔn)Davis-Kahan界的預(yù)解式特征向量微擾分析，我們認(rèn)為該技術(shù)具有獨立的學(xué)術(shù)價值。

? 我們表明，在此設(shè)定中縮放定律的涌現(xiàn)可以從聚合的譜躍遷來理解，其中誤差由未學(xué)習(xí)的譜尾部控制。

? 我們提供了實驗，證實了預(yù)測的恢復(fù)躍遷、有限尺寸效應(yīng)，以及與淺層核方法的分離。

總體而言，我們的結(jié)果表明，冪律學(xué)習(xí)曲線可以源于一種簡單且可解釋的機制：層次化學(xué)習(xí)器逐一恢復(fù)潛在特征，而特征強度的冪律譜將這些尖銳的譜躍遷轉(zhuǎn)化為平滑的縮放定律。

2 設(shè)定

因此，該模型預(yù)測平滑的冪律泛化是許多尖銳譜恢復(fù)躍遷的聚合效應(yīng)。下一節(jié)將證明這一預(yù)測。

備注 2.1. 我們的逐層譜估計器與 (Tabanelli et al., 2026) 的學(xué)習(xí)策略緊密一致。特別是，他們在附錄 C 中與梯度下降的聯(lián)系表明，此處研究的譜估計器是在這種分層設(shè)定中基于梯度的訓(xùn)練自然涌現(xiàn)出來的那個。

2.3 更多相關(guān)工作

分層與組合模型。 深度通常被認(rèn)為有效，是因為它允許利用數(shù)據(jù)中的分層或組合結(jié)構(gòu)。這種直覺激發(fā)了從逼近論和統(tǒng)計學(xué)視角出發(fā)關(guān)于深度分離結(jié)果和組合目標(biāo)模型的研究 (Telgarsky, 2016; Mhaskar et al., 2017; Poggio et al., 2017; Daniely, 2017; Mossel, 2016)。更近期的工作研究了隨機分層模型和高維分層目標(biāo)，表明深度網(wǎng)絡(luò)或逐層過程可以利用淺層方法無法訪問的中間表征 (Garnier-Brun et al., 2025; Cagnetta et al., 2024; Dandi et al., 2025)。與我們最接近的是對三層網(wǎng)絡(luò)中分層多項式目標(biāo)和非線性特征學(xué)習(xí)的分析 (Wang et al., 2023; Nichani et al., 2024; Fu et al., 2025)，以及 (Tabanelli et al., 2026) 的分層譜方法。我們通過這些工作的不同之處在于，我們在潛在特征上增加了各向異性冪律譜，并證明了單個特征恢復(fù)的匹配上下界，這使我們能夠從躍遷級聯(lián)中推導(dǎo)出聚合縮放定律。

多索引與譜方法。 相關(guān)的一條研究路線研究多索引模型，其中目標(biāo)取決于輸入的低維投影。這些已被用于刻畫統(tǒng)計-計算差距、弱恢復(fù)閾值以及核方法的局限性 (Aubin et al., 2018; Barbier et al., 2019; Ben Arous et al., 2021; Abbe et al., 2022; Bietti et al., 2022; Troiani et al., 2025; Damian et al., 2024)。譜方法在此背景下尤為相關(guān)，因為它們?yōu)楦咚鼓Ｐ椭械牡途S結(jié)構(gòu)提供了尖銳的恢復(fù)保證 (Lu and Li, 2020; Mondelli and Montanari, 2018; Maillard et al., 2022; Kova?evi? et al., 2025; Defilippis et al., 2025)。我們的估計器建立在這一譜觀點之上，但與標(biāo)準(zhǔn)的多索引學(xué)習(xí)不同之處在于，其潛在結(jié)構(gòu)是組合性的，且恢復(fù)方向的強度是各向異性且服從冪律分布的。

縮放定律與冪律譜。 大量工作研究了在表征固定設(shè)定下的縮放定律，例如在核或隨機特征模型中，其中泛化由相關(guān)特征映射的譜控制 (Caponnetto and De Vito, 2007; Bordelon et al., 2020; Spigler et al., 2020; Cui et al., 2021; Maloney et al., 2022; Cui et al., 2023; Bahri et al., 2024; Paquette et al., 2024; Defilippis et al., 2024; Atanasov et al., 2024; Bordelon et al., 2024a; Wortsman and Loureiro, 2025)。另一條獨特的研究路線調(diào)查了增加可訓(xùn)練參數(shù)數(shù)量如何影響優(yōu)化、初始化和表達(dá)能力 (Yang et al., 2021; Bordelon et al., 2024b; Chizat and Netrapalli, 2024; Chaintron et al., 2026)。更近期，關(guān)于二次和淺層神經(jīng)網(wǎng)絡(luò)模型的幾項工作展示了縮放定律如何從特征學(xué)習(xí)本身產(chǎn)生 (Ren et al., 2025; Ben Arous et al., 2025; Defilippis et al., 2025, 2026b; Boncoraglio et al., 2025)。與我們工作最接近的是 (Defilippis et al., 2025, 2026b)，它們獲得了相關(guān)的速率和學(xué)習(xí)到的表征譜，包括學(xué)習(xí)方向的順序涌現(xiàn)。本工作表明，類似的速率出現(xiàn)在真正的多層、分層設(shè)定中，這表明聯(lián)系冪律譜、特征恢復(fù)和縮放定律的機制在淺層二次模型之外也是穩(wěn)健的。

高斯等價性與多項式特征。 相關(guān)的技術(shù)文獻(xiàn)研究了多項式特征映射、隨機特征矩陣和高維核矩陣的高斯等價性和普適性現(xiàn)象 (Hu et al., 2024; Xu et al., 2025; Wen et al., 2025; Lu and Yau, 2025)。盡管我們的證明并非通過將埃爾米特特征向量替換為等價的高斯模型來進(jìn)行，但這一系列工作為理解多項式特征何時表現(xiàn)得像高斯特征以及何時非高斯修正變得相關(guān)提供了有用的比較點。相反，我們的分析保持埃爾米特結(jié)構(gòu)的顯式性，并使用維納混沌（Wiener-chaos）工具，如乘積公式、分部積分、超壓縮性（hypercontractivity）和收縮估計 (Nualart and Pecatti, 2005; Nourdin and Peccati, 2009, 2012)。這些工具使我們能夠直接控制經(jīng)驗埃爾米特矩矩陣和微擾特征向量展開，而無需訴諸完全的高斯等價歸約。

3 主要定理

我們現(xiàn)在將在以下兩種情形之一中，嚴(yán)格證明上一節(jié)所述啟發(fā)式方法得出的預(yù)測。

假設(shè) 3.1（讀出機制）。 我們在以下兩種機制之一下進(jìn)行工作：

3.1 第一層的恢復(fù)

定理 3.1（弱恢復(fù)）

3.2 第二層的恢復(fù)與泛化誤差的速率

4 數(shù)值實驗

在本節(jié)中，我們將定理 3.1 的逐特征恢復(fù)預(yù)測與數(shù)值實驗進(jìn)行對照。額外的數(shù)值細(xì)節(jié)見附錄 A。

5 討論與未來方向

我們引入了一個模型，其中縮放定律源于順序特征恢復(fù)。核心信息是層次結(jié)構(gòu)與各向異性協(xié)同作用：深度揭示了相關(guān)的中間表征，而信號的冪律結(jié)構(gòu)將其各分量的恢復(fù)分散在不同的樣本規(guī)模上。因此，平滑的冪律學(xué)習(xí)曲線可以從許多尖銳的特征學(xué)習(xí)躍遷的聚合效應(yīng)中涌現(xiàn)。這提供了一種機制，說明冪律是由表征學(xué)習(xí)生成的，而不是從固定的核譜中繼承而來的。

我們分析的主要局限性也正是使該機制變得清晰透明的原因：層次結(jié)構(gòu)是預(yù)先指定的，輸入為高斯分布，且學(xué)習(xí)是通過逐層過程執(zhí)行的。這些假設(shè)使得尖銳的恢復(fù)與未恢復(fù)保證成為可能，同時指出了自然的后續(xù)問題：將該機制擴展到更通用的數(shù)據(jù)、更豐富的非線性以及更高的信息指數(shù)。更廣泛地說，我們的結(jié)果表明，深度學(xué)習(xí)中的縮放定律可能不僅反映了固定表征處的譜偏置，還反映了跨深度的表征的逐步組織。

原文鏈接：https://arxiv.org/pdf/2605.14567