南加州大學與加州大學圣地亞哥分校聯手揭秘:AI的"數字直覺"來源

這項由南加州大學與加州大學圣地亞哥分校聯合開展的研究，于2026年4月發表，論文編號為arXiv:2604.20817，有興趣深入了解的讀者可以通過該編號查詢完整論文。

當你問ChatGPT"358加479等于多少"時，它不假思索地給出正確答案。但你有沒有想過，這些AI在內心深處究竟是怎么"理解"數字的？它們腦子里的數字，究竟長什么樣子？這項研究就像一次對AI大腦的外科手術，把AI理解數字的方式從里到外解剖了一遍，結果發現了一個既出人意料又意味深長的秘密。

研究團隊的核心發現可以用一個生活場景來理解：假設你去考察世界各地不同文明的計時工具，從古埃及的日晷、中國的銅壺滴漏，到歐洲的機械鐘，再到現代的電子表，這些完全不相關、獨立發展的文明，居然都選擇了把一天分成若干份、用周期循環來表示時間。這種現象在生物學上叫做"趨同進化"——不同的物種在面對相同的環境壓力時，獨立演化出了相似的解決方案，就像魚和海豚都演化出了流線型身體，盡管它們根本不是親戚。研究團隊發現，AI世界里也存在完全相同的現象：無論是GPT系列的大型語言模型、完全不同架構的Mamba模型、古老的LSTM網絡，還是最簡單的詞向量工具，它們在學習數字時，居然都"不約而同"地把數字排列成了相同的波浪形周期結構。

這個發現的意義遠不止于"哦，原來AI都這樣"。更重要的是，研究者接下來發現了這些表面上相似的"波浪"背后，隱藏著一個深刻的分層現象——有些AI只是"看起來"學會了數字的規律，而另一些AI才是真正"懂得"了數字的內在邏輯。搞清楚這兩者的區別，對于理解AI的能力邊界至關重要。

一、AI大腦里的數字，原來是一首周期性的歌

要理解這項研究，首先需要知道AI是如何"存儲"一個數字的。在AI模型內部，每個數字并不是像我們印象中那樣被當作一個孤立的符號存儲，而是被轉化為一個高維空間中的向量——通俗地說，就是一長串數字坐標，描述這個數字在AI"概念空間"里的位置。比如數字"37"在一個維度上可能更接近"奇數"，在另一個維度上更接近"三十幾這個范圍"，在第三個維度上可能跟"質數"有關，等等。

研究者用一種叫做傅里葉變換的數學工具來分析這些向量，這個工具的作用就像是把一首復雜的樂曲分解成若干個純音，看看里面哪些頻率的聲音最響亮。當他們把0到999這一千個數字的向量都用傅里葉變換分析之后，發現一個極其一致的規律：幾乎所有模型都在周期為2、5、10這三個地方出現了最強的"峰值"，就像一首歌里這三個音符特別響亮。

周期為2意味著數字以"奇偶"交替為節奏；周期為5意味著數字以個位數0~4/5~9為節奏；周期為10則對應著我們熟悉的十進制計數習慣。這并不奇怪，因為自然語言里確實充滿了這樣的規律——"雙數折扣"、"每隔五年"、"十年一遇"，人類的語言習慣把這些周期烙印進了訓練數據，AI自然而然就學到了。

真正令人驚嘆的是這個現象的普遍程度。研究團隊測試了橫跨三大家族的模型：Transformer架構的GPT-2、GPT-OSS-120B、Llama-3、Llama-4、DeepSeek-V3；完全不同機制的非Transformer模型Mamba、Falcon-Mamba、xLSTM、Kimi-Linear；以及最古老的詞向量工具GloVe和FastText。結果無一例外，所有模型都出現了同樣的周期峰值。甚至，當研究者把所有訓練數據里數字出現的頻率統計出來，不經過任何模型訓練，只是純粹地用頻率高低來代表每個數字時，這個頻率分布本身也呈現出完全相同的周期結構。

這就意味著，這種"波浪"結構并不是AI在訓練過程中費力學來的高級知識，而是被寫在了訓練數據的基本統計特征里，任何一個從自然語言學習的系統，都會自動被這個周期結構"染色"。研究者把這個現象命名為"譜收斂"（spectral convergence）——不同的系統收斂到了相同的頻率特征。

二、但是，有"波浪"不等于真的理解了數字

就在所有人以為"既然所有AI都學到了這個周期結構，那它們肯定都懂數字"的時候，研究者潑了一盆冷水。

他們設計了一個更嚴格的測試：如果一個AI真的用這個周期結構來理解數字的"模運算"（也就是除法取余數），那么給它看一個數字，它應該能分辨出這個數字除以10余幾。換句話說，數字37和7和17和97這些"除以10余7的數"，在AI的概念空間里應該被歸為一類，彼此緊靠在一起，而跟"除以10余3的數"這一類保持距離。這種"同余類的數字在空間里聚集成團"的現象，研究者稱之為"幾何收斂"（geometric convergence）。

測試方法是訓練一個簡單的線性分類器，看它能不能根據AI對數字的內部表示，正確判斷出這個數字除以某個數余幾。這就好比你拿到一張AI畫的"數字地圖"，看看地圖上"余數相同的數字"是不是真的聚集在同一個區域。

結果出現了戲劇性的分裂：同樣是在相同數據上訓練、具有同樣強烈"波浪"特征的不同模型，在這個測試上表現天差地別。Transformer架構的模型測試正確率高達96%，Gated DeltaNet（一種線性循環神經網絡）達到95%，而LSTM（長短期記憶網絡，一種經典的循環神經網絡）的正確率幾乎等于隨機猜測，連10%都達不到。更令人困惑的是，LSTM的"波浪"甚至比Transformer還要更強烈——它的傅里葉峰值更高，但在分類測試上卻毫無用處。

這個發現讓研究者意識到，之前學界普遍存在一個誤解：看到AI的數字表示里有明顯的周期波浪，就認為AI學會了模運算。事實上，有波浪和能正確分類，是兩件完全不同的事。

三、波浪存在卻無法分類——數學告訴了我們為什么

研究者不只是觀察到了這個現象，他們還用嚴格的數學證明了為什么會這樣，并給出了精確的理論框架。

核心定理可以用一個直觀的例子來理解。假設你面前有一千個小球，每個小球代表一個數字，球上涂著顏色——余數為0的涂紅色，余數為1的涂橙色，以此類推，共10種顏色。現在問題來了：你的任務是用一條直線或一個平面把這些顏色分開。

情況一：每種顏色的球整整齊齊地排列在各自的一堆里，10堆球之間涇渭分明。這時候不管你怎么拍照、怎么用傅里葉分析這些球的排列，都會看到非常清晰的周期性——每隔10個球顏色循環一次。同時，一條簡單的線就能把它們分開。

情況二：10種顏色的球被均勻地混合，就像你把10副撲克牌洗在一起，每種花色都均勻分散在整個空間里。這時候拍照出來，你看到顏色每隔10個循環一次，照樣有周期性波浪，而且波浪可以非常強烈。但你用任何一條線都無法把它們分開，因為每條線兩邊都混雜著所有顏色。

LSTM就處于情況二：它的"數字地圖"里，雖然有周期性的結構，但同余的數字彼此并不聚集，而是以某種混亂的方式散布在整個空間里，被大量與周期性無關的噪聲淹沒。LSTM的"類內散布矩陣"（可以理解為同一類數字內部的混亂程度）條件數高達8569，而Transformer的只有122，相差近70倍。這意味著LSTM雖然知道"數字有周期"，但周期信號完全被內部噪聲淹沒，分類器根本無法利用這個信號。

研究者用數學語言精確地表述了這個關系：傅里葉功率（波浪強度）大于零，是能夠分類的必要條件，但絕對不是充分條件。能否真正分類，取決于信號與噪聲的比值，而僅僅看波浪的強度，完全無法知道這個比值是多少。

四、是什么決定了AI能否真正"懂"數字？

既然同樣的數據、同樣的波浪，不同的AI結果如此懸殊，研究者決定系統地拆解這個問題，一個變量一個變量地測試。他們固定其他條件，逐一改變訓練數據的結構、模型的架構、以及訓練使用的優化算法，觀察哪些因素對"幾何收斂"（真正能分類）有決定性影響。

首先是數據的貢獻。研究者設計了一系列精妙的"破壞實驗"，每次只破壞訓練數據中的一種結構，看看會發生什么。

第一種破壞：把每段文字里的數字全部替換成從語料庫里隨機抽取的其他數字，這樣數字的整體頻率分布不變，但每個數字和它周圍文字的關聯被完全打亂了。結果是"波浪"依然存在（因為頻率分布沒變），但分類能力從85%暴跌到28%。這說明"數字和它周圍的文字詞語共同出現"這個信息，是AI學會真正理解數字的一個重要來源。比如，"100分"、"滿分"、"完美"這些詞經常和"100"一起出現，"奇怪的"、"單獨的"經常和奇數一起出現，AI通過這些共現關系，逐漸悟出了不同數字之間的關系。

第二種破壞：限制上下文長度，讓每個數字只能"看到"周圍很短的一段文字，從正常的1024個詞縮減到只有2個詞。當上下文只剩2個詞時，分類能力降到了40%；隨著上下文變長，能力穩步提升。這說明更廣的上下文提供了更豐富的共現信息。

第三種破壞：限制每個訓練片段里最多只包含k個數字，通過調整k來控制不同數字之間能夠相互"交流"的程度。當k=1時，每段文字里只有一個數字，數字之間完全隔絕，只有文字-數字的共現信息；當k=8時，多個數字可以在同一段文字里互相影響。隨著k的增加，分類能力逐步提升，說明不同數字之間的相互作用也提供了額外信息。即便是k=1的情況，Transformer的表現也比只看詞向量共現的古老方法好得多，說明自回歸語言建模本身是一種更高效的信息提取機制。

不管怎么破壞數據的結構，"波浪"始終頑強地存在——因為波浪只需要數字的頻率分布就夠了，而頻率分布是最難被破壞的統計特征。這再次印證了"波浪人人有，理解各不同"的兩層結構。

其次是模型架構的巨大影響。同樣的數據、同樣的訓練量，Transformer和Gated DeltaNet、Mamba-2這幾種線性循環神經網絡都能達到70-85%以上的分類準確率，而LSTM不管是12層還是4層，始終在10%左右徘徊。增加LSTM的層數不僅沒有改善，條件數反而變得更大（從8569上升到20297），說明問題出在LSTM這種架構的本質特性上，而不是容量不夠。

LSTM的數字向量在傅里葉分析下，看起來和直接統計訓練語料里數字頻率得到的結果驚人地相似，這暗示LSTM可能壓根沒有超越純粹的頻率統計，它的內部狀態對于數字來說，基本上只記錄了"這個數字在語料里出現多少次"這一層信息。

優化算法的影響則依賴于具體架構。使用Muon優化器（一種較新的優化方法）還是AdamW優化器（目前最流行的優化方法），對Transformer來說影響顯著：Muon訓練的Transformer在除以10余幾的測試上達到85.4%，AdamW訓練的只有72.1%。但對Mamba-2來說，AdamW反而表現更好。這說明優化器和架構之間存在復雜的交互作用，沒有放之四海而皆準的最優組合。

五、數字題目教出來的AI，又是另一番景象

前面討論的都是在自然語言數據上預訓練的模型。研究者還測試了另一個極端：如果從頭開始、只訓練AI做加法題，會發生什么？

結論是：教加法能不能教出"真正理解"數字的AI，完全取決于題目是怎么出的。

研究者設計了兩種不同的加法訓練場景。第一種是"9位數加法"，兩個1到9位數字相加，因為數字本身可能很大，所以每個數字需要被拆分成多個詞元（token，可以理解為AI識別的最小文字單位）來表示，比如"1234"會被拆成"1""234"兩個詞元。第二種是"3位數加法"，兩個0到999之間的數字相加，因為數字足夠小，每個數字都是一個單獨的詞元。

9位數加法的訓練結果令人振奮：無論用Muon還是AdamW，最終兩種優化器都收斂到了完全相同的波浪結構，而且在除以2、5、10的分類測試上接近滿分。這種一致性表明，多詞元的數字表示方式給模型帶來了一種不可逃避的學習壓力。

原因在于，當你用多個詞元來表示一個數字，做加法時每一位的輸出就是"兩個數字的對應位相加再對1000取余"。余數為0的位，結果只跟這一位有關；余數為1的位，結果是"這一位之和加上來自低位的進位，再對1000取余"。無論哪種情況，模型都必須解決一個模運算問題才能得出正確的輸出。由于AI的輸入層和輸出層共享同一套詞元嵌入（即詞元的內部表示向量直接影響輸出的判斷），這個模運算壓力就直接傳遞到了嵌入層，迫使嵌入向量發展出能支持模運算分類的幾何結構。

3位數加法則完全是另一回事。因為每個數字是單獨的詞元，"234加567等于801"這道題，在AI看來就是"見到詞元234和詞元567，就輸出詞元801"，沒有任何強制性的模運算子問題。正如研究者指出的，這道題的答案是801，無論你把它理解為1000進制的運算還是1111進制的運算，結果都是一樣的，所以模型根本不需要理解"模"的概念就能做對題目。

結果一片混亂：Muon訓練出的模型產生了某些頻率處的峰值，但不在2、5、10這些有意義的周期上，模分類測試接近隨機；AdamW在一個隨機種子下產生了"頓悟"現象（先死記硬背，再突然泛化），在另一個種子下則永遠無法泛化。不同訓練條件下的結果互不相同，說明單詞元加法場景下，沒有任何統一的規律在約束模型的學習方向。

這對應了研究者的一個核心洞察：詞元化（tokenization）的方式，從根本上決定了AI在做算術時面對的是什么樣的學習壓力，進而決定了AI最終會發展出什么樣的內部數字表示。

六、那么，為什么這些模型會"趨同進化"？

把所有發現拼在一起，研究者描繪出了一幅完整的圖景，解釋了不同AI為什么獨立演化出相同的數字表示。

波浪特征的出現，是因為自然語言中數字的頻率分布本身就具有這個周期性，任何從語言中學習的系統都無法避免被這個統計規律"感染"。這是最淺層的趨同，人人都有，不代表任何高級理解。

真正的幾何結構（讓分類器有用武之地）則是一場多因素共同作用的結果。訓練數據需要提供足夠豐富的共現信息：數字與周圍文字的共現、數字與數字之間的相互作用、以及足夠長的上下文。架構需要具備能夠充分利用這些共現信息的能力：Transformer和線性循環網絡能做到，LSTM因為某些內在機制局限做不到。優化器也會影響最終結果，但這種影響是與架構交互的，并沒有普遍規律。

在算術任務場景下，還有第三條路：多詞元的數字表示方式通過進位計算強制創造模運算子問題，從而讓模型在完全沒有自然語言先驗的情況下，獨立"發明"出同樣的周期幾何結構。

這就是為什么研究者把這個現象比作生物趨同進化：不同的"物種"（AI模型）面對相同的"環境壓力"（訓練數據的統計規律或任務的結構性要求），各自獨立演化出了相同的"特征"（周期性數字表示）。就像魚和海豚各自獨立演化出了流線型，不是因為它們共同的祖先，而是因為水流施加了相同的壓力。

研究者還觀察到，在語言預訓練過程中，波浪和分類能力是同步平滑地增長的，沒有任何突然的"頓悟"跳躍；而在算術任務訓練中，有時會出現突然泛化的"頓悟"現象，這反映了兩種完全不同的學習機制在起作用。

說到底，這項研究告訴我們的是：當你看到一個AI表現出某種"好像懂了"的跡象時，千萬不要輕易下結論說它真的懂了。有些"懂"只是數據統計規律的影子，有些才是真正功能性的理解。區分這兩種情況，需要更嚴格、更深入的檢驗，而不只是看表面的"波浪"是否存在。

這對于整個AI研究領域都是一個重要的提醒：在依賴"模型內部表示看起來有結構"來推斷模型能力時，要格外謹慎。表面上的周期波浪，可能只是數據的回聲；而真正的能力，隱藏在更深的幾何結構之中，需要用更細致的探針才能發現。

Q&A

Q1：為什么LSTM模型學到了更強的傅里葉波浪特征，卻在數字分類上毫無用處？

A：這是因為傅里葉波浪強不等于數字表示在空間里排列整齊。LSTM的波浪確實更強，但它內部的"類內噪聲"非常大——也就是說，同一類數字（比如同樣除以10余3的數）在LSTM的概念空間里散布得非常凌亂，彼此距離很遠。信號雖然強，卻被更強的噪聲淹沒了，線性分類器根本無法利用這個信號把同類數字聚在一起。Transformer的噪聲條件數只有122，而LSTM高達8569，這就是關鍵差距所在。

Q2：9位數加法和3位數加法訓練出來的AI，為什么在數字理解上差別那么大？

A：根本原因在于詞元化方式。9位數加法中，數字被拆分成多個詞元，做加法時每一位的計算本質上都是"兩數相加再取余數"，這個模運算問題是不可逃避的學習壓力，迫使模型發展出真正的周期性幾何結構。而3位數加法中，每個數字是一個獨立詞元，模型只需要記住"輸入A加輸入B對應輸出C"，完全不需要理解模運算，所以最終學到什么完全依賴于優化器和隨機種子，沒有統一規律。

Q3：AI模型中的"譜收斂"和"幾何收斂"對普通用戶使用AI有什么實際影響？

A：譜收斂（有波浪）只說明模型感知到了數字的統計規律，而幾何收斂（能正確分類同余數字）才代表模型真正掌握了可用于計算的數字結構。對用戶而言，這意味著不能僅憑AI"看起來懂數字"就相信它在數學任務上的表現。使用LSTM類架構的模型在需要模運算或精確數學推理的任務上可能更不可靠，而Transformer架構在這方面有結構性優勢。選擇AI工具做數學計算時，架構選擇比單純的參數量更重要。