大語(yǔ)言模型為什么能像人一樣說話和思考？

李航，張少華，林苑

我們每天都在使用大語(yǔ)言模型（Large Language Model，LLM）。一個(gè)明顯的感受是，它們似乎真的能夠理解我們的語(yǔ)言，雖然有時(shí)也會(huì)出現(xiàn)幻覺。另一方面，觀察 LLM 輸出的思維鏈，也就是其推理過程的語(yǔ)言表示，我們會(huì)感到它們好像真的能像人一樣思考。

最近字節(jié)跳動(dòng)的李航、張少華、林苑發(fā)表了一篇文章。論述：LLM 的語(yǔ)言和思考能力是怎樣的能力？這些能力是如何通過其實(shí)現(xiàn)原理和方法、乃至工作機(jī)制形成的？

• 全文鏈接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技術(shù)是人類創(chuàng)造出來的，其實(shí)現(xiàn)原理是清楚的，但其工作機(jī)制（Mechanics）仍未被充分理解。LLM 規(guī)模極其龐大，工作機(jī)制極其復(fù)雜，給對(duì)其能力的研究帶來了很大困難。

ChatGPT 問世以來，已有大量關(guān)于 LLM 機(jī)制和特性的研究，特別是近年關(guān)于工作機(jī)制（或可解釋性）的研究。這些工作從不同角度對(duì)這一 AI 的核心課題給出了一定程度的回答。但仍有許多問題有待今后的研究。

該文章將對(duì) LLM 的基本原理和實(shí)現(xiàn)方法做了總結(jié)，也對(duì) LLM 工作機(jī)制的研究進(jìn)行簡(jiǎn)單的介紹，包括字節(jié)跳動(dòng)做的 LLM 記憶機(jī)制的工作；在此基礎(chǔ)上，對(duì) LLM 的能力形成提出自己的看法。

引用：LLM記憶機(jī)制論文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要觀點(diǎn)

文章闡述了以下主要觀點(diǎn)。

• LLM 學(xué)習(xí)到的是語(yǔ)言使用和推理的模式，重要的是學(xué)到了其高階模式。LLM 的學(xué)習(xí)屬于機(jī)器學(xué)習(xí)，其學(xué)習(xí)得到的內(nèi)容本質(zhì)上是數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律，或者說數(shù)據(jù)中的模式（Patterns）。語(yǔ)言數(shù)據(jù)內(nèi)容豐富，包含了詞匯、語(yǔ)法、語(yǔ)義、語(yǔ)用信息和世界知識(shí)。我們可以看到，LLM 不僅學(xué)習(xí)到了與詞匯和語(yǔ)法相關(guān)的低階模式，而且也學(xué)習(xí)到了與語(yǔ)義、語(yǔ)用和世界知識(shí)相關(guān)的高階模式（Higher Order Patterns）。之前的語(yǔ)言模型往往做不到這一點(diǎn)，而這正是 ChatGPT 以及后續(xù)的 LLM「涌現(xiàn)」出來的能力。因此，認(rèn)為 LLM 僅僅學(xué)到了語(yǔ)言的形式而沒有學(xué)到內(nèi)容的觀點(diǎn)（例如后述喬姆斯基的看法）并不能令人信服。
• 可以用 Next Token Prediction (NTP) 來概括其基本實(shí)現(xiàn)原理，但整體能力是由策略、模型、算法及數(shù)據(jù)這幾個(gè)要素共同決定的。LLM 的學(xué)習(xí)和推理的過程是 NTP，但這只是表面的形式，其具體的實(shí)現(xiàn)方法以及其特點(diǎn)更為重要。預(yù)訓(xùn)練中使用的極大似然估計(jì)（等價(jià)于數(shù)據(jù)壓縮）是估計(jì)詞元序列數(shù)據(jù)的概率分布。后訓(xùn)練的強(qiáng)化學(xué)習(xí)旨在微調(diào)模型，使其成為最優(yōu)詞元序列生成的策略函數(shù)。作為模型的 Transformer 具有極強(qiáng)的語(yǔ)言和知識(shí)表示能力。隨機(jī)梯度下降的優(yōu)化算法則能幫助找到具有良好泛化性的解。LLM 的關(guān)鍵在于對(duì)這些技術(shù)的系統(tǒng)整合與規(guī)?；瘜?shí)現(xiàn)。有觀點(diǎn)將 LLM 的成功簡(jiǎn)單歸因于 NTP，這是過于簡(jiǎn)單化的理解。
• LLM 的內(nèi)部機(jī)制已得到一定的解析和理解。近年 LLM 可解釋性研究取得了一定進(jìn)展，現(xiàn)在 LLM 對(duì)我們來說已不再完全是黑盒。LLM 中的特征可以通過 SAE 等工具提取出來，特征之間形成的回路也可以利用 CLT 等工具追蹤。字節(jié)跳動(dòng)最近的工作進(jìn)一步揭示了 LLM 中特征在學(xué)習(xí)過程中被記憶、在推理中被檢索的規(guī)律。隨著未來研究的不斷深入，LLM 的工作機(jī)制會(huì)越來越多地被我們解析和理解。

2 LLM 的工作機(jī)制

LLM 的研究可以從三個(gè)視角進(jìn)行：機(jī)器學(xué)習(xí)方法與理論、外部提示實(shí)驗(yàn)分析、內(nèi)部工作機(jī)制研究。若將 LLM 比作人腦，工作機(jī)制的研究則對(duì)應(yīng)著腦科學(xué)實(shí)驗(yàn)。

2.1 特征疊加

神經(jīng)網(wǎng)絡(luò)的每一層上都可能存在著「特征疊加」（Superposition）現(xiàn)象。傳統(tǒng)的觀點(diǎn)認(rèn)為，一個(gè)神經(jīng)元表示一個(gè)特征。然而，大量實(shí)驗(yàn)表明，這種理想化的情況在實(shí)際網(wǎng)絡(luò)中比較少見。相反，神經(jīng)元與特征之間往往呈現(xiàn)的是多對(duì)多的對(duì)應(yīng)關(guān)系：即一個(gè)神經(jīng)元參與表示多個(gè)特征，一個(gè)特征由多個(gè)神經(jīng)元共同表示。

圖 1：LLM 的語(yǔ)言和思考能力、工作機(jī)制、實(shí)現(xiàn)原理和方法之間的關(guān)系。

Anthropic 研究團(tuán)隊(duì)提出了特征疊加假說（Superposition Hypothesis）。其核心思想是：通過特征疊加，神經(jīng)網(wǎng)絡(luò)的一層神經(jīng)元可以近似表示遠(yuǎn)大于其數(shù)量的特征，代價(jià)是特征之間存在一定程度的干擾。

神經(jīng)網(wǎng)絡(luò)的一層（稱為實(shí)際層）可以表示為：

其次，在訓(xùn)練過程中，神經(jīng)網(wǎng)絡(luò)通過梯度下降最小化損失函數(shù)。當(dāng)網(wǎng)絡(luò)面臨「表示盡可能多的特征」與「使用盡可能少的神經(jīng)元」這兩個(gè)目標(biāo)時(shí)，特征疊加成為一種自然的優(yōu)化結(jié)果。另外，ReLU 激活函數(shù)的使用也促進(jìn)了特征向量的稀疏化，因?yàn)檩^弱的激活值會(huì)被截?cái)酁榱恪?/p>

上述特征疊加假說的合理性，已在 Anthropic 的玩具模型（toy model）模擬實(shí)驗(yàn)中得到驗(yàn)證，并在后續(xù)稀疏自編碼器（Sparse Autoencoder）的開發(fā)與應(yīng)用中獲得了進(jìn)一步的支持。

2.2 SAE：特征分析

稀疏自編碼器（Sparse Autoencoder，SAE）可以用于分析神經(jīng)網(wǎng)絡(luò)，發(fā)現(xiàn)其中具有可解釋性的特征。在 LLM 的可解釋性研究中，通常將其應(yīng)用于 Transformer 的殘差流，即在每層的輸出表示向量上。

SAE 與特征疊加理論形成了互補(bǔ)關(guān)系。特征疊加可以被視為一種壓縮過程：模型隱式地通過高維且稀疏的特征向量對(duì)輸入向量進(jìn)行表示。而 SAE 則可以被視為一種「解壓」方法：將輸入向量分解為高維且稀疏的特征向量。這種「壓縮—解壓」的關(guān)系，使 SAE 成為研究和分析特征疊加現(xiàn)象的重要工具。

SAE 由編碼器（Encoder）和解碼器（Decoder）組成。首先，編碼器通過非線性變換將輸入向量轉(zhuǎn)換為高維且稀疏的特征向量：

通過 SAE 得到的稀疏激活特征與特征疊加理論的預(yù)測(cè)一致，即模型可能將遠(yuǎn)多于神經(jīng)元數(shù)量的潛在概念編碼在神經(jīng)元中。例如，研究者在對(duì)大語(yǔ)言模型進(jìn)行分析時(shí)，已經(jīng)成功提取出數(shù)十萬(wàn)到百萬(wàn)量級(jí)的特征，其中一些特征具有明顯的語(yǔ)義含義，例如與實(shí)體（如「金門大橋」）或行為（如「諂媚」，Sycophancy）相關(guān)的特征。

分析表明，大語(yǔ)言模型中的特征往往呈現(xiàn)出一定的層次化結(jié)構(gòu)：淺層基本是表示輸入的詞法與簡(jiǎn)單語(yǔ)法的特征；中間層有大量復(fù)雜語(yǔ)法和基本語(yǔ)義的特征；深層主要是復(fù)雜語(yǔ)義、推理實(shí)現(xiàn)和輸出表達(dá)的特征。

2.3 記憶機(jī)制

字節(jié)跳動(dòng)的工作提出了功能詞元假說，揭示了 LLM 的記憶機(jī)制的基本特點(diǎn) 。功能詞元假說（Function Token Hypothesis）認(rèn)為，LLM 中特征的記憶是圍繞著功能詞元展開的，特征在一個(gè)上下文的檢索，也是通過功能詞元進(jìn)行的。

功能詞元是指在訓(xùn)練語(yǔ)料中出現(xiàn)頻率最高的詞元，大部分對(duì)應(yīng)于語(yǔ)言學(xué)中的功能詞，在語(yǔ)法和上下文連接上起著關(guān)鍵作用。例如，冠詞「the」、標(biāo)點(diǎn)符號(hào)（逗號(hào)、句號(hào)）、換行符等。與之相對(duì)的是內(nèi)容詞元，表達(dá)明確且豐富的語(yǔ)義信息。統(tǒng)計(jì)表明，在大規(guī)模預(yù)訓(xùn)練語(yǔ)料中，前 100 多個(gè)高頻詞元就占了所有詞元出現(xiàn)次數(shù)的大約 40%。

在 LLM 的預(yù)訓(xùn)練階段，學(xué)習(xí)過程呈現(xiàn)出以功能詞元為中心的顯著特點(diǎn)。通過將訓(xùn)練損失按照功能詞元和內(nèi)容詞元的四種組合進(jìn)行分解觀察，結(jié)果發(fā)現(xiàn)，「功能詞元 → 內(nèi)容詞元」的損失函數(shù)下降得最慢。也就是說，根據(jù)功能詞元來預(yù)測(cè)下一個(gè)內(nèi)容詞元是最困難的。從語(yǔ)言學(xué)的角度看，這是合理的，因?yàn)楣δ茉~元往往標(biāo)志著前一個(gè)語(yǔ)言單元（Chunk）的結(jié)束，要預(yù)測(cè)它之后的內(nèi)容詞元，需要對(duì)從開頭到當(dāng)前位置的整個(gè)上下文有準(zhǔn)確的理解?？梢酝茢?，正是這種最難的預(yù)測(cè)任務(wù)，成為了驅(qū)動(dòng)模型優(yōu)化的主導(dǎo)力量。

另一個(gè)發(fā)現(xiàn)是功能詞元在訓(xùn)練的過程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。將功能詞元和特征之間建立二部圖。如果一個(gè)功能詞元在某個(gè)上下文激活了某個(gè)特征，就在兩者之間建立一個(gè)邊。隨著訓(xùn)練的深入，二部圖上的邊不斷增加。最后，少量功能詞元能與大部分特征之間建立聯(lián)系，前 10 個(gè)高頻詞元激活 70% 的特征，也就是說，這些功能詞元能（在不同的上下文）激活大部分特征。這里也存在著冪律分布。

在推理過程中，功能詞元發(fā)揮著記憶檢索的核心作用。它們能從上下文中動(dòng)態(tài)地激活最具預(yù)測(cè)性的特征，從而指導(dǎo)下一個(gè)詞元的生成。例如，如圖 3 所示，當(dāng)提示為「Answer the question in Chinese: What is the capital of Russia?」時(shí)，功能詞元（如冒號(hào)「:」和換行符）會(huì)激活上下文中「用中文回答」和「俄羅斯」等特征，同時(shí)抑制無關(guān)特征，最終引導(dǎo)模型用中文生成答案「莫斯科」。這種動(dòng)態(tài)的特征選擇與組合能力，正是功能詞元區(qū)別于內(nèi)容詞元的關(guān)鍵特性。

圖 3：LLM 推理過程中功能詞元發(fā)揮著記憶檢索的核心作用。

功能詞元之所以在 LLM 中發(fā)揮如此關(guān)鍵的作用，是訓(xùn)練目標(biāo)、學(xué)習(xí)算法、模型架構(gòu)和語(yǔ)言特性共同作用的結(jié)果。首先，下一詞元預(yù)測(cè)的訓(xùn)練目標(biāo)（交叉熵?fù)p失）要求模型最大化預(yù)測(cè)準(zhǔn)確性，而梯度下降算法總是優(yōu)先降低損失最大的部分。其次，Transformer 架構(gòu)中的前饋網(wǎng)絡(luò)層能將知識(shí)（特征）進(jìn)行很好的表示和記憶，自注意力層能將低階的知識(shí)（特征）有效地組合成高階的知識(shí)（特征）。最后，自然語(yǔ)言本身的結(jié)構(gòu)特性起到了決定性作用，文本總是被功能詞元分割成嵌套的 Chunk（可以是短語(yǔ)、句子或段落）。因此，對(duì)功能詞元之后的預(yù)測(cè)，需要理解從文本開頭到該位置的整個(gè)上下文語(yǔ)義。這是一項(xiàng)極具挑戰(zhàn)性的任務(wù)，促使功能詞元在訓(xùn)練中獲得連接大部分特征的能力，并在推理時(shí)重新激活最具預(yù)測(cè)性的特征。

功能詞元假說對(duì) LLM 訓(xùn)練實(shí)踐具有深刻啟示。其中最重要的一點(diǎn)是訓(xùn)練數(shù)據(jù)的格式至關(guān)重要。多項(xiàng)研究的結(jié)果印證了這一點(diǎn)。在后訓(xùn)練階段，僅需少量訓(xùn)練步驟就能顯著提升模型的指令遵循、思維鏈推理等能力。這可能是因?yàn)楹笥?xùn)練通過調(diào)整功能詞元的激活模式，激活了預(yù)訓(xùn)練期間已經(jīng)習(xí)得的特征。例如，功能詞元（如「thus」）在強(qiáng)化學(xué)習(xí)訓(xùn)練中能夠顯著提升推理性能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨層連接特征的計(jì)算圖，用于表示模型中的特征是如何被激活和傳播的。因?yàn)?SAE 只能看到單層的特征，具有較大的局限性。為了分析跨層的特征的連接和影響關(guān)系，研究者提出了 CLT（Cross Layer Transcoder，跨層轉(zhuǎn)碼器）方法。

CLT 的工作原理是：以某一層的殘差流 作為輸入，模型將其映射到后續(xù)各層的殘差流 。通過這種方式，CLT 能夠?qū)W習(xí)到一個(gè)跨層對(duì)齊的特征字典，捕捉不同層之間的特征影響關(guān)系。

CLT 在每一層都有一個(gè)類似 SAE 的特征抽取模塊，但其優(yōu)化目標(biāo)有很大不同。每一層的輸出是復(fù)現(xiàn)的后續(xù)各個(gè)層的殘差流。它由非線性變換（對(duì)應(yīng)編碼器）、線性變換（對(duì)應(yīng)跨層映射）以及線性解碼變換組成：

為了提高歸因圖的可解釋性，采用剪枝技術(shù)對(duì)圖進(jìn)行精簡(jiǎn)。通過設(shè)置閾值，只保留激活強(qiáng)度和貢獻(xiàn)度顯著的節(jié)點(diǎn)和邊。進(jìn)一步使用梯度回傳，識(shí)別對(duì)最終輸出貢獻(xiàn)最大的路徑。得到的精簡(jiǎn)歸因圖能夠更清晰地展示模型中的特征激活和推理路徑，揭示模型在特定場(chǎng)景中的核心特征回路。

圖 4：基于 CLT 構(gòu)建的歸因圖，用于分析 LLM 的內(nèi)部計(jì)算機(jī)制。來源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的語(yǔ)言理解和推理

3.1 LLM 的能力

3.1.1 高階模式

從其行為表現(xiàn)來看，大語(yǔ)言模型已展現(xiàn)出人類同等以上的語(yǔ)言與推理能力。以圖靈測(cè)試為衡量標(biāo)準(zhǔn)，即考察其在對(duì)話中是否無法與人類區(qū)分，LLM 已達(dá)到了人類水平。

LLM 所習(xí)得的不僅限于語(yǔ)言的低階模式，更涵蓋了語(yǔ)言與推理的高階模式。這一點(diǎn)在我們?nèi)粘Ｊ褂?LLM 時(shí)可以得到直觀驗(yàn)證。例如，LLM 能夠理解并執(zhí)行「喜馬拉雅山有多高，用英文回答」這類指令，體現(xiàn)了其語(yǔ)用能力；它還能夠辨析「金門大橋與金拱門的關(guān)系」這類涉及概念異同的問題，顯示出語(yǔ)義理解與世界知識(shí)的整合能力。

從內(nèi)部機(jī)制的分析角度看，「金門大橋」、「諂媚」等概念特征在模型中的存在，同樣揭示了 LLM 具備語(yǔ)義與語(yǔ)用層面的理解能力。

喬姆斯基曾批評(píng) LLM 僅學(xué)習(xí)到語(yǔ)言的表層統(tǒng)計(jì)規(guī)律。然而，以上事實(shí)表明，這一判斷并不成立。不過，這并不意味著 LLM 與人類語(yǔ)言能力完全等同。事實(shí)上，LLM 的語(yǔ)言機(jī)制與人類大腦存在顯著差異。例如，人腦的語(yǔ)言理解依賴于布洛卡區(qū)與韋尼克區(qū)兩個(gè)腦區(qū)的協(xié)同工作：前者主要負(fù)責(zé)語(yǔ)法處理，后者則承擔(dān)詞匯處理功能。

3.1.2 整體機(jī)制

大語(yǔ)言模型（LLM）的整體工作機(jī)制可以從訓(xùn)練方式、策略、算法和模型來理解（見圖 5）。其訓(xùn)練方式通常包括預(yù)訓(xùn)練和后訓(xùn)練兩個(gè)階段，并通過兩步訓(xùn)練融合，使模型在同一體系中同時(shí)具備語(yǔ)言理解、生成與推理能力。在機(jī)制上，LLM 基于自回歸預(yù)測(cè)，即根據(jù)已有上下文逐步預(yù)測(cè)下一個(gè)詞，這一過程也可以看作一種序列決策過程。

圖 5：LLM 的機(jī)制可以從訓(xùn)練方式、策略、算法和模型來理解。

在預(yù)訓(xùn)練階段，模型通過大規(guī)模語(yǔ)料學(xué)習(xí)統(tǒng)計(jì)規(guī)律，給定足夠長(zhǎng)的上文，下一個(gè)詞元的概率分布往往會(huì)更加集中；而在后訓(xùn)練階段，通過人類反饋或策略優(yōu)化，使模型在相同上下文下更傾向生成最合理、最符合人類偏好的下文。

從技術(shù)實(shí)現(xiàn)上看，學(xué)習(xí)策略負(fù)責(zé)定義預(yù)測(cè)目標(biāo)和優(yōu)化方向，算法用于調(diào)整模型參數(shù)以達(dá)到最優(yōu)目標(biāo)，而模型結(jié)構(gòu)則決定了表達(dá)能力，通過自注意力機(jī)制實(shí)現(xiàn)特征組合，通過前饋網(wǎng)絡(luò)進(jìn)行特征檢測(cè)（非線性變換），并通過多層結(jié)構(gòu)形成層次化表示。這些都對(duì) LLM 的類人語(yǔ)言和推理能力起著重要作用。

模型性能的提升還體現(xiàn)出明顯的規(guī)模效應(yīng)：隨著數(shù)據(jù)量、參數(shù)規(guī)模和計(jì)算資源的增加，模型能力會(huì)產(chǎn)生質(zhì)的飛躍。同時(shí)，數(shù)據(jù)質(zhì)量和訓(xùn)練設(shè)計(jì)（例如高質(zhì)量語(yǔ)料和系統(tǒng)提示設(shè)計(jì)）也對(duì)效果至關(guān)重要。

這樣訓(xùn)練得到的 LLM 中形成了大量的特征，表示著各種不同的概念，根據(jù)不同的上下文，這些不同的特征被激活，動(dòng)態(tài)形成回路，實(shí)現(xiàn)復(fù)雜的語(yǔ)言處理和推理機(jī)制。

3.2 與人類能力的比較

表 1 對(duì)比了 LLM 與人類的能力?？梢钥闯?，LLM 在語(yǔ)言與推理任務(wù)上已具備與人類相當(dāng)甚至超越人類的水平。然而，在其他能力維度上，兩者不僅機(jī)制可能存在根本差異，其性能也并非簡(jiǎn)單可比。下面對(duì)此進(jìn)行簡(jiǎn)要說明與討論。

表 1: LLM 與人類能力比較

幻覺本質(zhì)源于對(duì)事實(shí)的判斷錯(cuò)誤。LLM 自身無法解決幻覺問題。因?yàn)樗鼘W(xué)習(xí)的是語(yǔ)言數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律。理論證明，在一定假設(shè)條件下，語(yǔ)言生成過程中一定會(huì)以一定概率產(chǎn)生幻覺。幻覺問題可通過其他機(jī)制加以緩解，比如，檢索增強(qiáng)生成（RAG）。

人的思考包含多個(gè)方面，不僅涉及語(yǔ)言、推理和數(shù)學(xué)，還與五種感官（視覺、聽覺、觸覺、嗅覺、味覺）以及運(yùn)動(dòng)系統(tǒng)密切相關(guān)。具身認(rèn)知假說認(rèn)為，思考的過程并非純粹的符號(hào)運(yùn)算，而是基于身體的感知運(yùn)動(dòng)經(jīng)驗(yàn)，在心智中進(jìn)行模擬。當(dāng)前的多模態(tài)大語(yǔ)言模型（MLLM）能夠?qū)⒄Z(yǔ)言推理與視覺、聽覺等信息進(jìn)行關(guān)聯(lián)處理，但其推理過程通常發(fā)生在語(yǔ)言表示空間。這種處理方式與人類基于具身體驗(yàn)的、豐富的、有意識(shí)的思考有著本質(zhì)區(qū)別。

最近也有一些工作嘗試進(jìn)行多模態(tài)推理，讓模型能夠「邊看邊想」；但這些方法仍屬于比較初步的探索。因此，從具身認(rèn)知的角度看，MLLM 的思考能力與人類仍有顯著差距。

LLM 既不是基于形式邏輯規(guī)則（如命題邏輯）進(jìn)行推理，也不是按照計(jì)算規(guī)則進(jìn)行算術(shù)運(yùn)算。它可以通過其生成機(jī)制模擬，呈現(xiàn)出一定的啟發(fā)式推理和計(jì)算能力，但在處理復(fù)雜問題時(shí)，由于缺乏嚴(yán)謹(jǐn)性，容易產(chǎn)生錯(cuò)誤。因此，LLM 在這方面存在局限性。

LLM 是否有創(chuàng)造力，還是一個(gè)開放式的問題，這也依賴于對(duì)創(chuàng)造力的定義。創(chuàng)新分漸進(jìn)式創(chuàng)新和顛覆性創(chuàng)新。通過觀察可以發(fā)現(xiàn)，LLM 應(yīng)該也具備漸進(jìn)式創(chuàng)新能力。而顛覆式創(chuàng)新，如相對(duì)論理論的建立，LLM 是否能夠做到，目前尚無定論。Ilya Sutskever 認(rèn)為 LLM 可以做插值（interpolation），但外推（extrapolation）是開放問題，也是類似的想法。

LLM 并不存在對(duì)應(yīng)人的意識(shí)機(jī)制，雖然我們會(huì)感到與 LLM 對(duì)話時(shí)有與真人交互的感覺。意識(shí)是指人的心智中感受到的對(duì)內(nèi)部身體和外部環(huán)境的知覺。意識(shí)是清醒時(shí)人腦處于的一種狀態(tài)，與其相對(duì)的其他狀態(tài)是深度睡眠、昏迷、死亡。意識(shí)是主觀的，是每個(gè)人以自我為中心的精神活動(dòng)，對(duì)我們每個(gè)人來說自己的意識(shí)是持續(xù)的、一貫的、穩(wěn)定的。同時(shí)，意識(shí)又是客觀的，它對(duì)應(yīng)著人腦神經(jīng)系統(tǒng)的高層次處理，由人腦神經(jīng)系統(tǒng)的低層次處理支撐。全局工作空間理論（Global Workspace Theory）認(rèn)為意識(shí)是腦內(nèi)信息的全局廣播。