宇宙尺度壓縮：Scaling Law的邊界，柏拉圖表征收斂于物質(zhì)和信息交匯，解決P與NP問題，Simulation假說……

作者 | 超對稱技術(shù)

出品丨AI 科技大本營（ID：rgznai100）

超對稱公司成功在 BigBang-Proton 實(shí)現(xiàn)跨尺度跨結(jié)構(gòu)的科學(xué)多任務(wù)學(xué)習(xí)，并從這個(gè)基礎(chǔ)出發(fā)提出將科學(xué)多任務(wù)學(xué)習(xí)擴(kuò)展到極限，就是將宇宙當(dāng)做一個(gè)完整整體進(jìn)行預(yù)訓(xùn)練，進(jìn)而提出宇宙尺度壓縮 Universe Compression 的構(gòu)想。本文將從多個(gè)方面論證這個(gè)構(gòu)想的科學(xué)基礎(chǔ)，工程可行性，以及科學(xué)意義。

Scientific Multitask Learning 是通往宇宙尺度壓縮的基石

傳統(tǒng)的 LLM 開發(fā)的觀點(diǎn)認(rèn)為，DNA 序列、數(shù)學(xué)方程式、水質(zhì)數(shù)據(jù)、粒子噴注、材料結(jié)構(gòu)這多學(xué)科的數(shù)據(jù)相互比較差異太大，與自然語言相比差異更大，放在一起訓(xùn)練不可能收斂，loss 無法下降。

BigBang-Proton 的預(yù)訓(xùn)練過程顯示，高度異質(zhì)的數(shù)據(jù)集在正確的表征和合適的架構(gòu)上可以收斂，這就預(yù)示了跨尺度、跨結(jié)構(gòu)、跨學(xué)科的數(shù)據(jù)集，在高維度 latent space 中可以產(chǎn)生遷移學(xué)習(xí)。

ChatGPT 展示“寫出李清照風(fēng)格的代碼”以及 Dalle 畫出“騎馬的宇航員”是典型的遷移學(xué)習(xí)的結(jié)果，在語言和藝術(shù)領(lǐng)域?qū)覍易屓梭@訝，但在科學(xué)領(lǐng)域遷移學(xué)習(xí)至今未有成功案例，原因就是科學(xué)領(lǐng)域的多任務(wù)學(xué)習(xí)（multitask learning）在預(yù)訓(xùn)練上沒有進(jìn)展。相比于語言和藝術(shù)，科學(xué)的遷移學(xué)習(xí)的價(jià)值要大得多。大腦的神經(jīng)元是否發(fā)生了量子力學(xué)過程，研究這樣的問題正需要多學(xué)科的遷移學(xué)習(xí)。

超對稱團(tuán)隊(duì)將算術(shù)運(yùn)算能力作為科學(xué)多任務(wù)學(xué)習(xí)的核心，因?yàn)閷?shí)驗(yàn)結(jié)果主要是數(shù)值形式的。BigBang-Proton 驗(yàn)證了夸克衰變產(chǎn)生的粒子噴注、材料結(jié)構(gòu)、水質(zhì)、DNA 序列、傳感器、股價(jià)、算術(shù)運(yùn)算這些高度異質(zhì)的數(shù)據(jù)集可以收斂，則將宇宙視為一個(gè)統(tǒng)一的實(shí)體來進(jìn)行訓(xùn)練和推理就已經(jīng)沒有障礙。這樣的科研范式融合了還原論和涌現(xiàn)輪兩種方法論。

Scaling Law 的邊界

在語言和專用科學(xué)多任務(wù)數(shù)據(jù)集上的預(yù)訓(xùn)練能夠平滑收斂，這表明大語言模型（LLMs）的 Scaling Law 可以超越語言范疇，延伸至物理世界。那么 Scaling Law 的邊界是什么?

柏拉圖表征、數(shù)據(jù)空間流形與宇宙流形

Minyoung Huh 等作者提出柏拉圖表征（Platonic Representation Hypothesis）， 他們統(tǒng)計(jì)了數(shù)百個(gè)在不同深度網(wǎng)絡(luò)架構(gòu)和模態(tài)(圖像和文本)上訓(xùn)練的 AI 模型，發(fā)現(xiàn)這些模型傾向于在其表征空間中收斂到一個(gè)相近的統(tǒng)計(jì)結(jié)果，這種統(tǒng)計(jì)結(jié)果是對現(xiàn)實(shí)的映射。他們假設(shè)這種收斂會(huì)到達(dá)一個(gè)理想化現(xiàn)實(shí)的表征，稱為柏拉圖表征，這一術(shù)語參考了柏拉圖在《理想國》中的洞穴寓言。

BigBang-Proton 在跨尺度跨結(jié)構(gòu)跨學(xué)科預(yù)訓(xùn)練上的進(jìn)展和柏拉圖的表征相互印證。物質(zhì)世界，或者說宇宙本身，構(gòu)成了柏拉圖表征中的理想化現(xiàn)實(shí)，而物理學(xué)、化學(xué)和生物學(xué)中的所有科學(xué)定律都是從特定視角對這一現(xiàn)實(shí)的統(tǒng)計(jì)反映。

物質(zhì)世界是一個(gè)單一的、統(tǒng)一的實(shí)體，由于人類腦力和資源有限才將科學(xué)探索的對象劃分為不同學(xué)科。宇宙起源于 137 億年前的大爆炸，演化過程中不同尺度涌現(xiàn)出不同的物質(zhì)結(jié)構(gòu)，最終形成其當(dāng)前狀態(tài)，演化過程產(chǎn)生了人類文明，人類語言從中涌現(xiàn)并通過互聯(lián)網(wǎng)被記錄下來。在全部互聯(lián)網(wǎng)數(shù)據(jù)上訓(xùn)練的主流 LLMs，僅捕獲了嵌入在物質(zhì)世界中的信息的一小部分。

與普遍認(rèn)為由于可用互聯(lián)網(wǎng)數(shù)據(jù)耗盡，基座 LLM 預(yù)訓(xùn)練已觸及瓶頸的判斷相反，超對稱團(tuán)隊(duì)從 BigBang-Proton 的工作中得出結(jié)論：預(yù)訓(xùn)練的極限最終就是宇宙本身的極限。由此超對稱團(tuán)隊(duì)提出了柏拉圖表征的宇宙和文明版本，即只要有足夠的資源，在整個(gè)宇宙歷史和人類文明所產(chǎn)生的全部數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練單一模型，模型將收斂到一個(gè)植根于大爆炸和支配宇宙起源的基本定律的表征，即信息與物質(zhì)的交匯點(diǎn)，因?yàn)槲覀兘裉焖幼〉奈镔|(zhì)世界正是從那個(gè)奇點(diǎn)衍生而來的。

圖：

宇宙尺度的預(yù)訓(xùn)練收斂到基本物理定律，從宇宙的演化和科學(xué)發(fā)展歷史可看出來。超對稱假設(shè)，在人類文明產(chǎn)生的完整數(shù)據(jù)上訓(xùn)練的模型傾向于收斂到基本自然定律，而在自然界和宇宙演化產(chǎn)生的完整數(shù)據(jù)上訓(xùn)練的模型傾向于收斂到基本物理定律。在一個(gè)從宇宙完整歷史產(chǎn)生的數(shù)據(jù)上訓(xùn)練的單一模型，傾向于收斂到大爆炸時(shí)刻、奇點(diǎn)處的基本物理定律以及信息與物質(zhì)的交匯點(diǎn)。

假設(shè) 1 | 自回歸LLMs 的縮放定律尚未觸及瓶頸。LLMs 縮放的極限是宇宙的終極邊界。LLMs 的縮放最終將收斂到大爆炸時(shí)刻的基本物理定律以及信息與物質(zhì)的交匯點(diǎn)。

為什么我們所處的世界具有隨機(jī)性和不確定性，所以我們需要用統(tǒng)計(jì)的工具來理解現(xiàn)實(shí)？現(xiàn)實(shí)的內(nèi)在統(tǒng)計(jì)性質(zhì)源于量子力學(xué)，起源于大爆炸期間的量子漲落。這些漲落驅(qū)動(dòng)了跨越宇宙和物質(zhì)尺度的層級(jí)結(jié)構(gòu)形成。統(tǒng)計(jì)力學(xué)在不同的物質(zhì)尺度之間架起橋梁，熱力學(xué)熵揭示了概率分布如何構(gòu)成物理系統(tǒng)中相變的基礎(chǔ)。而和熱力學(xué)熵平行的信息熵，則揭示了語言的結(jié)構(gòu)源于概率分布。

從前沿物理學(xué)的視角，熱力學(xué)熵和信息熵可以相互轉(zhuǎn)換，給我們理解自然語言提供另一個(gè)角度。人類語言也是物質(zhì)世界的一部分，語言的概率分布來自人類在物理世界活動(dòng)形成一種模式，最終是空間、時(shí)間和能量等自由度的組合和波動(dòng)在現(xiàn)實(shí)中的投射;字、詞、語法、段落所包含的人類智能的邏輯，是從時(shí)空和能量的海量排列中涌現(xiàn)，形成的一個(gè)由自由能最小化支配的系統(tǒng)。從能量角度理解語言則能解釋為什么 BigBang-Proton 在結(jié)合語言的多學(xué)科預(yù)訓(xùn)練能收斂。

LLMs 在預(yù)訓(xùn)練過程近似模擬總體語言概率分布，這些分布在數(shù)百萬年的時(shí)間里被精煉，以編碼時(shí)間、空間和能量關(guān)系。BigBang-Neutron 和 BigBang-Proton 的工作都表明，當(dāng)映射到高維 latent space 時(shí)，這些語言分布與基本物理結(jié)構(gòu)(如粒子對撞、材料晶體晶格、DNA 序列和水的時(shí)空模式)可緊密對齊。這種對齊使得語言引導(dǎo)的科學(xué)計(jì)算成為可能，并促進(jìn)了科學(xué)領(lǐng)域間的遷移學(xué)習(xí)。這使得 LLMs 不僅僅是語言模式學(xué)習(xí)者，更可以延伸至物理世界來重構(gòu)現(xiàn)實(shí)。

圖：

將多學(xué)科數(shù)據(jù)和自然語言投射到同一個(gè) embedding space 中實(shí)現(xiàn)了收斂。訓(xùn)練收斂圖中所示的收斂驗(yàn)證了自然語言和看似高度不同的科學(xué)領(lǐng)域共享一種相近的統(tǒng)計(jì)結(jié)果，其本質(zhì)可能根植于量子力學(xué)和其他基本物理原理。這一見解啟發(fā)超對稱團(tuán)隊(duì)在構(gòu)建表征和模型時(shí)將宇宙視為一個(gè)統(tǒng)一的實(shí)體。

深度學(xué)習(xí)中的流形假設(shè) Manifold Hypothesis 可幫助我們進(jìn)一步理解在整個(gè)宇宙數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練如何收斂到基本物理定律，并實(shí)現(xiàn)跨領(lǐng)域表征遷移。該假設(shè)認(rèn)為，當(dāng)嵌入到高維環(huán)境空間 RD 中時(shí)，真實(shí)世界的數(shù)據(jù)會(huì)集中在遠(yuǎn)低于維度的流形 M 附近，這一說法得到了理論研究和實(shí)證研究的支持。流形學(xué)習(xí)也在大語言模型中得到了研究。根據(jù)流形假設(shè)的聯(lián)合，宇宙尺度預(yù)訓(xùn)練中跨任務(wù)、學(xué)科、空間尺度和物理結(jié)構(gòu)的低維結(jié)構(gòu)形成流形，并收斂到一個(gè)不連通流形的聯(lián)合。這種流形的收斂可能對應(yīng)于基本的宇宙流形，并與宇宙全息原理相一致。全息原理指出宇宙的完整物理描述可以從其邊界表征中涌現(xiàn)。

早在 1989 年，物理學(xué)家約翰. 惠勒提出了著名的 It from Bit，即粒子無限細(xì)分的盡頭是比特，而惠勒的學(xué)生貝肯斯坦和霍金研究黑洞輻射時(shí)提出了 Bekenstein Bound， 即黑洞熵的上限與表面積而非體積成正比。這啟發(fā)了't Hooft 首次假設(shè)，在普朗克尺度下，3+1 時(shí)空維度會(huì)減為 2+1，即“世界即全息圖”假說，此假說得到反德西特空間與共形場論(AdS/CFT)對應(yīng)關(guān)系的支持，這屬于量子引力的研究范疇。

而降維正是流形學(xué)習(xí)的一種基本能力的目標(biāo)。在宇宙尺度數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，模型可能學(xué)習(xí)到普朗克尺度的時(shí)空結(jié)構(gòu)，并揭示量子引力層面的隱藏定律。這種時(shí)空結(jié)構(gòu)學(xué)習(xí)遠(yuǎn)遠(yuǎn)超出當(dāng)前基于圖像學(xué)習(xí)的空間智能和世界模型范式。

貝肯斯坦的工作也啟發(fā)了 computational universe 領(lǐng)域的研究，基本的概念是，物質(zhì)和信息可以互相轉(zhuǎn)換。物理學(xué)的前沿理論帶來了哲學(xué)上的熱潮，硅谷核心文化圈有一種哲學(xué)認(rèn)為現(xiàn)實(shí)世界來自 simulation，深受哲學(xué)家 Nick Bostrom， 馬斯克熱追，以至于形成了 simulation 宗教的說法。

因此，用計(jì)算對整個(gè)宇宙進(jìn)行模擬并不遙遠(yuǎn)，這是前沿物理學(xué)研究了接近半個(gè)世紀(jì)的課題，也具有深層的社會(huì)文化基礎(chǔ)。而超對稱公司提出用自回歸 LLM 對物質(zhì)世界進(jìn)行壓縮，是對 computational universe 和 simulation hypothesis 的一次實(shí)踐。當(dāng)前熱議的用 AI 來開發(fā)戴森球或近地軌道工業(yè)，被認(rèn)為遠(yuǎn)期未來才會(huì)落地，當(dāng) LLM 壓縮的尺度從地球擴(kuò)展到星系和整個(gè)可觀測宇宙，這些工作就變得可著手。

考慮到物理約束，包括光速、自由度和 Bekenstein Bound， Lloyd 計(jì)算了宇宙的總信息容量。宇宙包含大約 個(gè)重子，并且最多可以容納 比特的信息，當(dāng)考慮引力時(shí)，最多可以執(zhí)行 次浮點(diǎn)邏輯運(yùn)算。

Sutskever 引入了數(shù)據(jù)壓縮和柯爾莫哥洛夫復(fù)雜度作為解釋無監(jiān)督學(xué)習(xí)泛化的數(shù)學(xué)形式主義。假設(shè)將宇宙中所有重子的自由度信息轉(zhuǎn)換為一個(gè)二進(jìn)制字符串。令 為編碼 個(gè)重子的自由度 (包括位置、動(dòng)量和自旋, 存儲(chǔ)在 比特中) 的二進(jìn)制字符串，其中 通過以下方式生成:

其中 L = 作為壓縮算法的基座 LLM；Y= 基于尺度、結(jié)構(gòu)和學(xué)科的完整科學(xué)知識(shí)作為約束， = 初始條件。沒有 Y 時(shí)，由完全隨機(jī)重子組成的 X 接近最大熵：

其中 是來自全息原理的宇宙總信息熵界：

使用宇宙學(xué)參數(shù): , , 。

當(dāng) Y 施加來自量子力學(xué)、廣義相對論、流體動(dòng)力學(xué)或蛋白質(zhì)結(jié)構(gòu)的約束，規(guī)定粒子如何相互作用和分布時(shí)，復(fù)雜度會(huì)急劇降低：

給定完整物理定律 Y 的條件柯爾莫哥洛夫復(fù)雜度 滿足：

其中 是二元熵函數(shù)。對于宇宙尺度的 , 這簡化為:

基本比率 可以作為科學(xué)發(fā)現(xiàn)的指標(biāo)。由于將 LLM 預(yù)訓(xùn)練擴(kuò)展到宇宙尺度將匹配宇宙的復(fù)雜性，當(dāng)計(jì)算復(fù)雜度和問題可驗(yàn)證度都可通過一個(gè)統(tǒng)一模型可獲得, 這個(gè)模型也可能為 P 與 NP 問題提供一種新的理解。

宇宙尺度的壓縮

在理論上，超對稱團(tuán)隊(duì)提出了以下宇宙尺度壓縮的計(jì)劃，暫不考慮現(xiàn)實(shí)中計(jì)算資源和數(shù)據(jù)的挑戰(zhàn)，以在一個(gè)二進(jìn)制序列中重建物理世界。首先，建立一個(gè)統(tǒng)一的時(shí)空框架，跨越宇宙、星系、地球到夸克尺度，將每個(gè)自由度置于一個(gè)一致的時(shí)空結(jié)構(gòu)中。其次，整合人類科學(xué)探究在所有尺度、結(jié)構(gòu)和學(xué)科上產(chǎn)生的所有理論和實(shí)驗(yàn)數(shù)據(jù)，這相當(dāng)于整個(gè)可觀測宇宙歷史的總數(shù)據(jù)內(nèi)容。最后，通過整合所有天然材料和人造物體及活動(dòng)（包括建筑、城市、工廠、車輛、飛機(jī)以及經(jīng)濟(jì)、政治、戰(zhàn)爭等）的數(shù)據(jù)，從重子組分中重建地球和人類文明。

BigBang-Proton 的創(chuàng)新為宇宙尺度數(shù)據(jù)的預(yù)訓(xùn)練提供了不可或缺的方法論。二進(jìn)制塊編碼為自然界和人類活動(dòng)中的超復(fù)雜模態(tài)提供了一種簡單、統(tǒng)一且有效的分詞方法。理論-實(shí)驗(yàn)學(xué)習(xí)范式將由自然語言表示的理論知識(shí)與由數(shù)值數(shù)據(jù)表示的大規(guī)模實(shí)驗(yàn)數(shù)據(jù)相融合。Monte Carlo Attention 提供了與宇宙中重子數(shù)量 相當(dāng)?shù)纳舷挛拈L度。

通過將宇宙視為一個(gè)單一、連貫的實(shí)體，并在宇宙尺度數(shù)據(jù)上預(yù)訓(xùn)練一個(gè)大型語言模型，可以推動(dòng)科學(xué)發(fā)現(xiàn)的范式轉(zhuǎn)變。這種方法將構(gòu)建一個(gè)統(tǒng)一的高維表征空間，捕捉物理現(xiàn)實(shí)的全部復(fù)雜性，并實(shí)現(xiàn)跨尺度、結(jié)構(gòu)和學(xué)科的深度類比的涌現(xiàn)。這樣的框架將揭示結(jié)構(gòu)的同質(zhì)性，例如對偶性、對稱性和相變，這些現(xiàn)象從量子場到數(shù)和幾何結(jié)構(gòu)中反復(fù)出現(xiàn)，反映了數(shù)學(xué)、物理、化學(xué)和生物學(xué)中的深刻統(tǒng)一，例如朗蘭茲綱領(lǐng)、波粒二象性、材料晶體和海洋流中的拓?fù)浣Y(jié)構(gòu)。在早期宇宙、超導(dǎo)體、生物大腦和 LLMs 中出現(xiàn)的相變和臨界現(xiàn)象表明了一個(gè)共享的統(tǒng)計(jì)力學(xué)基礎(chǔ)。

智能是宇宙演化產(chǎn)生的系統(tǒng)，反映了宇宙本身。不將智能置于宇宙演化的背景下，我們就無法理解智能的真正原因和底層機(jī)制。宇宙尺度壓縮的收斂可以進(jìn)一步揭示智能與物質(zhì)世界和宇宙這個(gè)智能演化的大舞臺(tái)之間深層次的關(guān)系。只有理解這種深層次的關(guān)系，我們才能真正意義創(chuàng)造出新的智能。

基于 BigBang-Proton 的工作和以上分析，超對稱團(tuán)隊(duì)提出第二個(gè)假設(shè)。

假設(shè) 2 | 僅通過“下一個(gè)詞預(yù)測”，就可以從微觀粒子尺度重建宇宙中存在的任何物理結(jié)構(gòu)。

這個(gè)假設(shè)推動(dòng)超對稱的下一步工作，即在一個(gè)具有增強(qiáng)語言推理能力的單一 BigBang 模型中模擬更復(fù)雜的物理結(jié)構(gòu)，包括大爆炸核合成、核聚變、量子材料、虛擬細(xì)胞系統(tǒng)、地球系統(tǒng)、機(jī)器人技術(shù)和飛機(jī)。前面五種是典型的自然界的物質(zhì)結(jié)構(gòu)，而對于人造結(jié)構(gòu)如機(jī)器人和飛機(jī)汽車這樣的精密機(jī)械，BigBang 模型也有天然優(yōu)勢。對物質(zhì)世界進(jìn)行全面壓縮可以將具身智能的兩大核心即高精度環(huán)境和感知、推理、計(jì)劃、決策能力通過 next-word-prediction 整合在同一個(gè)隱空間，極大提高具身智能的泛化能力，這也是當(dāng)前行業(yè)的難點(diǎn)。

對于飛機(jī)、汽車、船艦等精密復(fù)雜機(jī)械，BigBang 可以從原子尺度復(fù)建原材料、零部件、組裝的結(jié)構(gòu)，將上千萬零部件以及操控其運(yùn)行的物理化學(xué)生物原理整合在同一個(gè)隱空間，從原子層級(jí)上加速復(fù)雜裝備的設(shè)計(jì)、生產(chǎn)和迭代。

開源鏈接：

論文 | https://arxiv.org/abs/2510.00129

GitHub | https://github.com/supersymmetry-technologies/BigBang-Proton

HuggingFace | https://huggingface.co/SuperSymmetryTechnologies/BigBang-Proton

* 本文為 BigBang-Proton 系列報(bào)道第三篇。歡迎回顧前兩篇文章，對這個(gè)項(xiàng)目進(jìn)行更全面的了解。