深度Transformer流形中的潛在客體永久性：拓撲相變、自由能原理與重正化群流

深度Transformer流形中的潛在客體永久性：拓撲相變、自由能原理與重正化群流

Latent Object Permanence: Topological Phase Transitions, Free-Energy Principles, and Renormalization Group Flows in Deep Transformer Manifolds

https://arxiv.org/pdf/2601.19942

摘要

1 引言

針對 Transformer 模型的可解釋性研究 [1] 通常將其潛在空間 視為連續(xù)的語義場，其中意義以近似線性方向編碼 [2,3]。然而，多步推理需要實際上是離散的操作：否定、量化、變量綁定以及組合控制流。各種瓶頸假設——例如意識先驗[4] 和類似膠囊的分解 [5]——表明，高層認知需要稀疏、可操作的因子，這些因子的行為類似于潛在的“對象”。

我們研究深度 Transformer 是否自發(fā)實現(xiàn)了這種離散化，其機制類似于重整化群 [7]：一種粗粒化流，積分掉短程關聯(lián)（局部句法），并穩(wěn)定長程算子（邏輯/語義關系）。與強調淺層特征疊加的論述 [6,8] 不同，我們關注出現(xiàn)推理的深層區(qū)，并探究潛在幾何是否表現(xiàn)出相變的特征。

核心論點。在足夠規(guī)模下，深度扮演了隱式冷卻計劃的角色：注意力變得更加尖銳，自由能降低，協(xié)方差譜出現(xiàn)尖峰與間隙，有效維度發(fā)生坍縮。我們將臨界后的區(qū)域解釋為“固態(tài)”相，在該相中，潛在軌跡集中于支持跨步驟對象持久性的穩(wěn)定吸引盆（瞬態(tài)類對象）附近。

2 預備知識與可觀測變量

3 潛在流形的信息幾何3.1 由輸出分布誘導的 Fisher 度量

3.2 曲率作為層次結構的代理指標

曲率量（例如 Ricci 曲率）度量測地線的匯聚/發(fā)散，并可以對表征的層次結構進行編碼。雖然我們不假定常曲率，但我們提出以下內(nèi)容作為一個診斷性假設：

定義 3.1（雙曲嵌入假設（診斷性））。當有效潛在幾何在相關子空間中表現(xiàn)出負曲率時，深層語義層次結構會得到促進。預期淺層的行為更接近局部歐幾里得幾何（句法），而深層可能誘導出更負曲率的有效幾何（層次化語義）。

4 注意力的熱力學：一個自由能原理4.1 Softmax 作為吉布斯分布

5 隨機矩陣理論基線與尖峰協(xié)方差5.1 作為零模型的 Marchenko–Pastur 分布

5.2 低秩信號與尖峰

一個典型的結構化模型是尖峰協(xié)方差形式

注 2.在高維漸近理論中，尖峰模型存在一個檢測閾值（BBP 型相變）：當尖峰強度超過某個臨界值時，它會在譜上變得可分離，從而將“隱藏”因子轉變?yōu)椤翱捎^測”的特征向量方向 [17]。我們將此作為概念類比：增加模型規(guī)模可以將語義因子推過可檢測性閾值，表現(xiàn)為涌現(xiàn)的尖峰和秩坍縮。

6 重整化群視角與嚴格的譜坍縮條件6.1 作為橫向收縮的粗粒化

我們現(xiàn)在給出充分的條件下，某個深度區(qū)間必然會產(chǎn)生有效維度坍縮，從而將 RG 思想形式化為不相關方向的收縮。

6.2 邏輯可分性蘊含低秩結構（混合模型）

為了將類似邏輯的離散性與譜聯(lián)系起來，而不假設冪律關系，考慮一個簡單但嚴謹?shù)哪Ｐ停簼撛跔顟B(tài)聚集在 k k個原型周圍。

8 方法論8.1 模型套件

我們分析一套參數(shù)量跨越一個數(shù)量級的模型，以區(qū)分容量受限行為與涌現(xiàn)現(xiàn)象 [9,10]：

• 小規(guī)模（10億–30億參數(shù)）：Qwen-2.5-1.5B [11], Gemma-2-2B [12]。

• 中等規(guī)模（80億–110億參數(shù)）：Llama-3-8B [13]；基于 SOLAR-10.7B 的 110 億參數(shù)類模型 [14]。

• 大規(guī)模（300億+ 參數(shù)）：MiroThinker-30B（面向推理）。

8.3 潛在對象探測與量化

圖 1 可視化了這一序參量的微觀演化。熱力圖顯示，該相變不僅僅是均值的偏移，更是概率質量的分岔：推理模型發(fā)展出一個與低完整性背景分離的獨特的高完整性模式（“固態(tài)”帶），而較小的模型仍然保持有效的單峰分布。

10 討論10.1 從疊加到正交性約束

疊加可以在有限維度中編碼許多特征 [8]。然而，類邏輯操作施加了可分性約束：如果一個表征必須在多步鏈中可靠地區(qū)分互斥的謂詞，那么穩(wěn)定的類區(qū)域（吸引盆）就變得有利。定理 6.3 表明，即使是一個簡單的類混合模型，也會產(chǎn)生嚴格的低秩加各向同性結構，從而在不假設任何特定冪律的情況下產(chǎn)生譜間隙和有效秩坍縮。

10.2 瞬態(tài)類對象作為動力學對象

我們以同時兼容收縮機制和自由能銳化機制的方式來定義 TCO。

10.3 為什么c0.42可能在跨尺度下保持穩(wěn)定

11 結論

我們提供了一個擴展的、數(shù)學上明確的框架，將大型語言模型中的涌現(xiàn)推理能力與潛在幾何中的相變聯(lián)系起來。我們的貢獻包括：(i) 對注意力的熱力學變分刻畫（自由能最小化）；(ii) 隨機矩陣理論基線（Marchenko–Pastur 譜 bulk）以及基于尖峰的結構；(iii) 通過橫向收縮實現(xiàn)譜坍縮的充分條件；(iv) 嚴格的混合模型結果，表明離散的類結構蘊含低秩的信號特征值。在此觀點下，瞬態(tài)類對象是由類似重整化群的深度流所產(chǎn)生的穩(wěn)定吸引盆，該深度流在壓縮不相關方向的同時，保留了一個低維的語義骨架。

原文鏈接：https://arxiv.org/pdf/2601.19942