AI學(xué)會(huì)解釋自己：MIT教會(huì)模型從內(nèi)心提取概念，實(shí)現(xiàn)更準(zhǔn)、更透明

編輯丨&

在駕駛、醫(yī)療這類需要做出決斷的日常生活中，人類通常不會(huì)由現(xiàn)有狀況直接跳轉(zhuǎn)到結(jié)論。所有下達(dá)的決策往往都建立在對(duì)現(xiàn)狀的分析之上，換句話說(shuō)，決策的誕生需要建立一系列中間概念。

而這種中間概念也成為了人類判斷 AI 是否可信的依據(jù)。傳統(tǒng)的概念瓶頸模型（CBM）試圖解決這個(gè)問(wèn)題，它們強(qiáng)制模型用一組預(yù)設(shè)的人類概念來(lái)做預(yù)測(cè)。但問(wèn)題在于：這些概念往往由專家事先定義，可能不準(zhǔn)確、不完整，甚至與任務(wù)無(wú)關(guān)，導(dǎo)致模型準(zhǔn)確率下降，或暗中使用其他信息「作弊」。

來(lái)自 MIT 的研究團(tuán)隊(duì)，提出了一種全新的思路：與其讓人類告訴模型該學(xué)什么概念，不如直接從模型已經(jīng)學(xué)會(huì)的知識(shí)中提取概念，再讓模型用這些概念解釋自己。 這種方法被稱為M-CBM（Mechanistic Concept Bottleneck Model），在多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了更高的準(zhǔn)確率和更簡(jiǎn)潔、更可理解的解釋。

相關(guān)的研究?jī)?nèi)容以「Learning Concept Bottleneck Models From Mechanistic Explanations」為題，即將在國(guó)際學(xué)習(xí)表征會(huì)議（ICLR）上發(fā)表。

論文鏈接：https://openreview.net/pdf?id=gdEWoxhb70

如何讓模型從自身學(xué)習(xí)

前文已經(jīng)說(shuō)過(guò)，傳統(tǒng)的 CBM 面臨的問(wèn)題是在模型的黑箱部分和最終輸出之間，增加了一個(gè)「概念瓶頸層」。模型必須先預(yù)測(cè)一組概念，再用這些概念預(yù)測(cè)最終類別。

在這種架構(gòu)下，隱藏層雖然包含大量信息，但它們并沒(méi)有明確語(yǔ)義，因此難以解釋。

但是研究團(tuán)隊(duì)有著不同的想法：

既然模型已經(jīng)在大量數(shù)據(jù)上訓(xùn)練，它內(nèi)部必然已經(jīng)形成了對(duì)任務(wù)有用的「概念」。為什么不直接把這些內(nèi)部表征「翻譯」成我們能理解的語(yǔ)言？

這就是他們所做的事情。讓模型從黑箱模型骨干網(wǎng)絡(luò)中提取、命名并標(biāo)注其自身學(xué)習(xí)的概念，再基于這些概念訓(xùn)練可解釋的 CBM，全程實(shí)現(xiàn)概念的數(shù)據(jù)驅(qū)動(dòng)生成，而非先驗(yàn)定義。

圖 1：M-CBM 流程概述。

這個(gè)流程大致可以歸類為提取、命名、約束三個(gè)步驟。

步驟一：用稀疏自編碼器提取概念

研究團(tuán)隊(duì)首先訓(xùn)練一個(gè)稀疏自編碼器（SAE），它的任務(wù)是重構(gòu)目標(biāo)黑箱模型在中間層的特征激活，同時(shí)強(qiáng)制其隱藏層表示高度稀疏。理想情況下，SAE 的每個(gè)神經(jīng)元會(huì)學(xué)會(huì)識(shí)別一個(gè)獨(dú)立的、可解釋的特征——也就是模型自己學(xué)到的「概念」。為了防止無(wú)效神經(jīng)元干擾后續(xù)步驟，團(tuán)隊(duì)還根據(jù)激活頻率進(jìn)行過(guò)濾，只保留那些真正重要的概念。

步驟二：用多模態(tài)大模型為概念命名和標(biāo)注

這一步是「翻譯」的關(guān)鍵。對(duì)于每個(gè) SAE 神經(jīng)元，團(tuán)隊(duì)挑選出最能讓它激活的 10 張圖像，以及完全不激活的 10 張圖像，連同神經(jīng)元的激活熱力圖一起，交給一個(gè)多模態(tài)大模型（如GPT-4.1）。模型被要求用自然語(yǔ)言描述「這個(gè)神經(jīng)元在響應(yīng)什么」。

之后，同一個(gè)大模型還會(huì)對(duì)數(shù)據(jù)集中的圖像進(jìn)行批量標(biāo)注，判斷每張圖像是否存在該概念。為了避免概念重復(fù)，團(tuán)隊(duì)還會(huì)對(duì)語(yǔ)義相似的概念進(jìn)行合并。

步驟三：用概念瓶頸層重新訓(xùn)練，并用NCC控制解釋簡(jiǎn)潔性

有了概念及其標(biāo)注，團(tuán)隊(duì)訓(xùn)練一個(gè)新的概念瓶頸層（CBL）來(lái)預(yù)測(cè)這些概念的存在與否。然后，他們凍結(jié)這個(gè) CBL，在其上訓(xùn)練一個(gè)稀疏線性分類器，用預(yù)測(cè)出的概念來(lái)預(yù)測(cè)最終類別。為了確保解釋簡(jiǎn)潔且防止信息泄漏，研究團(tuán)隊(duì)引入了一個(gè)新指標(biāo)——貢獻(xiàn)概念數(shù)（NCC）。

與之前只統(tǒng)計(jì)權(quán)重非零數(shù)量的指標(biāo)（NEC）不同，NCC 衡量的是：平均需要多少個(gè)概念，才能解釋一次預(yù)測(cè)中 95% 的決策依據(jù)。通過(guò)調(diào)整分類器的稀疏度，他們可以精準(zhǔn)控制 NCC，迫使模型選擇最相關(guān)的概念。

可解釋性與性能

研究團(tuán)隊(duì)在多個(gè)數(shù)據(jù)集上對(duì)這一框架進(jìn)行了測(cè)試，包括視覺(jué)識(shí)別和結(jié)構(gòu)化數(shù)據(jù)任務(wù)。

實(shí)驗(yàn)結(jié)果顯示，在許多任務(wù)中，引入概念瓶頸結(jié)構(gòu)并不會(huì)顯著降低模型性能。相反，在一些復(fù)雜任務(wù)上，這種結(jié)構(gòu)甚至可以帶來(lái)更穩(wěn)定的預(yù)測(cè)。

圖 2：在 CUB 上的準(zhǔn)確率與 NCC 對(duì)比。

準(zhǔn)確率方面，M-CBM 在所有數(shù)據(jù)集和所有稀疏度水平上均取得了最高的準(zhǔn)確率；概念預(yù)測(cè)方面，M-CBM 的概念預(yù)測(cè) ROC-AUC（宏平均）在 CUB 上高達(dá) 90.04%。這表明 M-CBM 不僅用概念做對(duì)了分類，也確實(shí)學(xué)會(huì)了識(shí)別這些概念。

表 1：在 NCC=5 和 NCC=avg 下的準(zhǔn)確率比較，最佳模型以粗體顯示。

更重要的是，這種模型具備傳統(tǒng)深度學(xué)習(xí)系統(tǒng)難以實(shí)現(xiàn)的一項(xiàng)能力：

概念級(jí)別的可控推理。

當(dāng)模型給出錯(cuò)誤預(yù)測(cè)時(shí)，研究人員可以檢查概念層的輸出，并判斷錯(cuò)誤來(lái)自哪一步。

比如在 ISIC2018 的一個(gè)誤分類案例中，模型將基底細(xì)胞癌誤判為黑色素瘤，解釋顯示是因?yàn)樗吹搅恕妇奂乃{(lán)灰色卵形巢」——而這個(gè)概念在正確類別中本應(yīng)為負(fù)。將這一概念的貢獻(xiàn)歸零，模型的預(yù)測(cè)就翻轉(zhuǎn)到了正確類別，證明了概念的可干預(yù)性。

圖 3：在 CUB 中正確預(yù)測(cè)（a）和 ISIC 2018 中錯(cuò)誤分類（b）的情況下，M-CBM 的每幅圖像解釋。

真正可信的 AI 之路

盡管 M-CBM 取得了顯著進(jìn)展，但研究團(tuán)隊(duì)也坦誠(chéng)指出了其局限性。當(dāng)下的 CBM 還未能徹底根除信息泄露，而且如何驗(yàn)證模型學(xué)到的概念就是人類認(rèn)為的概念，也仍是一個(gè)開(kāi)放性問(wèn)題。

不過(guò)，至少 M-CBM 提供了一條將黑箱模型轉(zhuǎn)化為可解釋模型的通用路徑。它不再依賴人類「猜測(cè)」模型應(yīng)該用什么概念，而是直接從模型的「內(nèi)心」讀取它真正使用的概念，然后用人類語(yǔ)言翻譯出來(lái)。

正如報(bào)道中的相關(guān)評(píng)價(jià)所言：「這項(xiàng)工作為更忠實(shí)于模型的解釋提供了一條路徑，并為后續(xù)結(jié)構(gòu)化知識(shí)的研究打開(kāi)了許多機(jī)會(huì)?！巩?dāng) AI 系統(tǒng)能夠清晰解釋自己的決策時(shí)，我們離真正信任它們，又近了一步。

https://techxplore.com/news/2026-03-ai-ability.html