麻省理工出品，AI時(shí)代人人必修的最佳公開課！為什么AI會(huì)死盯著電腦猜性別？

好的，歡迎大家回來。

先快速回顧一下。希望每個(gè)人都在推進(jìn)自己的項(xiàng)目。我已經(jīng)通過郵件給大家反饋了，也為每個(gè)人分配了一位主要助教，請(qǐng)大家開始與我們會(huì)面。目標(biāo)是讓你每周輪流與我和主要助教見面，這樣每周都有機(jī)會(huì)同步進(jìn)展并獲得反饋。希望到現(xiàn)在，你們已經(jīng)基本確定了核心想法，實(shí)驗(yàn)框架也搭建好了，包括數(shù)據(jù)集、模型、基線方法，可能有些基線模型已經(jīng)跑起來了，自己的新想法也有了一些進(jìn)展。

下一個(gè)檢查點(diǎn)是在春假之后。那周的周二，你們的中期報(bào)告就要提交了。周四的課上，大家會(huì)進(jìn)行展示，具體時(shí)間是春假后那一周的周四。我們還發(fā)布了第三次閱讀作業(yè)，截止時(shí)間是明天晚上，為本周四的課堂討論做準(zhǔn)備。這次閱讀的主題是多模態(tài)對(duì)齊，也就是如何在不同模態(tài)之間建立統(tǒng)一的表示空間。第一篇是那篇關(guān)于對(duì)比學(xué)習(xí)的論文，展示了如何做到這一點(diǎn)，并做了很漂亮的分析。第二篇論文叫“Plating Representations”，講的是一個(gè)非常有趣的現(xiàn)象：即使不強(qiáng)制對(duì)齊，僅僅通過擴(kuò)大模型規(guī)模并獨(dú)立訓(xùn)練，某種對(duì)齊和相似性也會(huì)自然涌現(xiàn)，并可能收斂到一種統(tǒng)一的相似表示。這也是個(gè)很值得探討的現(xiàn)象。這兩篇論文都留下了許多開放問題，希望我們能在周四進(jìn)行討論。

好，今天我們來看多模態(tài)融合。之前我們已經(jīng)介紹了多模態(tài)學(xué)習(xí)導(dǎo)論，講了對(duì)齊。今天深入探討融合，也就是當(dāng)不同模態(tài)存在時(shí)，如何把它們?nèi)诤显谝黄?。一般定義是：給定兩個(gè)模態(tài)，學(xué)習(xí)一個(gè)聯(lián)合表示，能夠捕捉這些模態(tài)如何交互、信息從何而來，以及這些信息如何結(jié)合。我們會(huì)在一節(jié)課里概覽多模態(tài)融合的整個(gè)圖景，目標(biāo)是讓大家了解不同的思路，形成一個(gè)譜系認(rèn)識(shí)。與你自己項(xiàng)目最相關(guān)的方法，可以再深入去看具體的論文。

融合可以看作一個(gè)譜系。一端是先用預(yù)訓(xùn)練模型從原始模態(tài)中提取抽象特征，然后對(duì)這些抽象特征做簡(jiǎn)單的融合。因?yàn)槌橄蠛蟮谋硎驹谡Z義上更接近，融合的工作量就變小了。另一類范式是從原始數(shù)據(jù)開始，原始數(shù)據(jù)的模態(tài)差異更大、更異構(gòu)，維度不同，離散連續(xù)空間不同，元素各異。這時(shí)就要較早地進(jìn)行融合，讓融合模型承擔(dān)更多工作。所以，一邊是先獨(dú)立提取特征再簡(jiǎn)單融合，另一邊是不提取特征，從原始數(shù)據(jù)開始，讓融合做更重的活。這同樣是一個(gè)連續(xù)譜系，方法可以從一個(gè)極端延伸到另一個(gè)極端。

融合的核心目標(biāo)，就是捕捉模態(tài)之間的交互——這些模態(tài)是以某種方式組合信息的。我們上一節(jié)課提過，多模態(tài)交互是多模態(tài)數(shù)據(jù)之所以獨(dú)特的三個(gè)關(guān)鍵原則之一。直觀地說，就是這些模態(tài)如何結(jié)合起來提供新信息。我們討論過幾種交互類型。第一種是冗余，也就是共有信息。比如你說著高興的話，同時(shí)露出高興的表情，兩者都在強(qiáng)化“這個(gè)人很喜歡這部電影”這個(gè)信息。我們也看過對(duì)齊方法，比如對(duì)比學(xué)習(xí)，它本質(zhì)上是學(xué)習(xí)獨(dú)立的表示，然后用相似函數(shù)或?qū)Ρ群瘮?shù)把它們拉在一起。實(shí)際上，這種方法學(xué)到的很可能就是模態(tài)之間的共同信息。所以，對(duì)齊方法與冗余之間有一種直觀的聯(lián)系：基于對(duì)齊的方法主要捕獲的是模態(tài)之間冗余的共享信息。當(dāng)然，這些都還是直覺，并沒有嚴(yán)格的證明。如果你的數(shù)據(jù)主要是冗余的，你想捕獲的是共同信息，那么基于對(duì)齊的對(duì)比學(xué)習(xí)方法就值得探索。

另外兩種交互類型是唯一性和協(xié)同。唯一性是指信息只存在于一個(gè)模態(tài)中，另一個(gè)模態(tài)沒有。比如你嘴上說著積極的話，但面部表情是中性的。這種情況下，基于對(duì)齊的對(duì)比學(xué)習(xí)方法只會(huì)學(xué)到共同的部分，會(huì)把獨(dú)特的信息丟掉。所以我們今天看的一些方法，就是關(guān)于如何更好地捕捉這種獨(dú)特信息。第三種是協(xié)同，這種信息既不共同存在于兩者，也不單獨(dú)存在于某一方，只有當(dāng)你把模態(tài)融合在一起時(shí)才會(huì)出現(xiàn)。比如你嘴上說著正面的話，但臉上帶著憤怒或沮喪，結(jié)合起來你就能推斷出這個(gè)人在說反話。基于對(duì)齊的方法同樣捕捉不到這種信息。所以，多模態(tài)融合的整體思路，就是要捕捉這些不同類型的信息以及它們組合的方式。

先看對(duì)抽象模態(tài)做融合的情況，也就是先用預(yù)訓(xùn)練模型提取特征，再做簡(jiǎn)單的融合。比如用圖像模型提取圖像表示，用語言模型提取語言表示。這些編碼器的核心思想是從原始數(shù)據(jù)中提取更具語義的抽象特征，這樣它們?cè)谡Z義上更相似，融合時(shí)的工作量就小了。這也對(duì)應(yīng)了有些人所說的早期融合和晚期融合。早期融合是將數(shù)據(jù)以某種方式直接合并，然后送入模型，讓融合模型承擔(dān)更多工作。晚期融合則在另一個(gè)極端：你可以分別用模態(tài)A和模態(tài)B做預(yù)測(cè)，然后把預(yù)測(cè)出的標(biāo)簽用某種方式組合起來得到最終結(jié)果。比如集成方法，當(dāng)你有多個(gè)模態(tài)時(shí)，取多數(shù)票作為最終標(biāo)簽。這些都是晚期融合的例子。

這只是方法的一個(gè)采樣。我們從簡(jiǎn)單開始，先介紹融合的基本概念。思路是建?？缒B(tài)的交互，也就是這兩個(gè)模態(tài)是如何相互作用的。我們只從一維的情況看起：模態(tài)X_A是一維，X_B是一維，標(biāo)簽也是一維。

引入融合概念的一個(gè)非常簡(jiǎn)單的方法是看線性情況：訓(xùn)練線性函數(shù)，用數(shù)據(jù)預(yù)測(cè)標(biāo)簽。你們應(yīng)該都熟悉線性回歸：標(biāo)簽y等于截距w0加上w1乘以X_A，再加上w2乘以X_B。然后有一個(gè)有趣的項(xiàng)：w3乘以X_A和X_B的乘積。前兩項(xiàng)是加性項(xiàng)，每個(gè)模態(tài)獨(dú)立貢獻(xiàn)，權(quán)重1乘以第一個(gè)模態(tài)，權(quán)重2乘以第二個(gè)模態(tài)。這額外的一項(xiàng)是乘性項(xiàng)，也叫乘性交互——先將兩個(gè)模態(tài)相乘，再?zèng)Q定權(quán)重w3，這對(duì)預(yù)測(cè)標(biāo)簽很有用。

看一個(gè)實(shí)際例子。假設(shè)你要對(duì)書評(píng)做預(yù)測(cè)。有兩個(gè)輸入：第一個(gè)模態(tài)是人們?cè)谡務(wù)撨@本書時(shí)微笑的時(shí)間百分比，可以是全程微笑，也可以完全不笑，這是一個(gè)連續(xù)值。第二個(gè)模態(tài)是一個(gè)指示變量，表示這個(gè)人是不是專業(yè)書評(píng)人。專業(yè)書評(píng)人以評(píng)論書為生，非專業(yè)的就是像我們一樣的普通人。標(biāo)簽Y是書的實(shí)際評(píng)分，比如爛番茄那種評(píng)分。你可能會(huì)先感興趣的是，微笑的時(shí)間百分比是否能夠預(yù)測(cè)評(píng)分好壞？這是一個(gè)單模態(tài)的假設(shè)，只考察X_A如何影響Y。第二個(gè)假設(shè)就更有趣了：微笑的影響是否取決于職業(yè)身份？這就是在問交互效應(yīng)了。當(dāng)我是非專業(yè)書評(píng)人，只是愛好評(píng)論時(shí)，我的微笑對(duì)于書的評(píng)分意味著什么？對(duì)比我是專業(yè)書評(píng)人時(shí)，微笑又意味著什么？你可以做基本分析，只用微笑來訓(xùn)練線性回歸，會(huì)得到一條斜率為正的直線，微笑與評(píng)分正相關(guān)。如果同時(shí)加入微笑和職業(yè)身份兩個(gè)變量，因?yàn)槁殬I(yè)身份是0或1的指示變量，你會(huì)得到兩條斜率相同但截距不同的直線。非專業(yè)書評(píng)人的線整體更高一些，專業(yè)書評(píng)人的線向下平移，說明專業(yè)書評(píng)人可能更苛刻。這就是線性回歸中，第二個(gè)模態(tài)只引入上下平移的情況。

如果再加入乘性項(xiàng)w3乘以X_A和X_B，函數(shù)就更有表達(dá)力了，能捕捉到斜率不同的函數(shù)對(duì)。你可以這樣理解：對(duì)于非專業(yè)書評(píng)人，微笑越多評(píng)分越高；對(duì)于專業(yè)書評(píng)人，微笑的影響被放大了——他們微笑時(shí)，更喜歡這本書；不微笑時(shí)，則更不喜歡這本書，表現(xiàn)得比普通人更極端。這就回答了假設(shè)：是的，斜率確實(shí)發(fā)生了變化，微笑與評(píng)分的關(guān)系在是否專業(yè)上有所不同。這也就是為什么人們要在模型中考慮乘性交互。

從一維可以推廣到高維。一種常見方法是逐元素相乘來捕捉交互。如果你有4維的X_A和4維的X_B，你可以通過逐元素相乘得到一個(gè)融合表示z，這樣每個(gè)維度上都是X_A和X_B相應(yīng)元素的乘性交互。還可以更有表達(dá)力：你可以構(gòu)建一個(gè)4×4的矩陣，也就是雙線性矩陣，把X_A的每一個(gè)元素和X_B的每一個(gè)元素都相乘，得到所有特征對(duì)之間的乘性交互。這種雙線性融合可能會(huì)讓你們想起上周看過的多模態(tài)Transformer：同樣是兩個(gè)向量，通過某種外積得到成對(duì)的矩陣?，F(xiàn)代Transformer架構(gòu)正是受到了這些早期雙線性池化思想的啟發(fā)，核心都是考察一組特征與另一組特征的所有成對(duì)組合。

多模態(tài)Transformer的做法類似，但有一些細(xì)微差別。你可以有第一個(gè)模態(tài)的數(shù)據(jù)，比如人說的幾個(gè)詞，維度是3×D。第二個(gè)模態(tài)的數(shù)據(jù)，比如面部或聲音表情，維度是4×D。序列長度可以不同。你計(jì)算它們的外積，得到一個(gè)3×4的權(quán)重矩陣，然后除以維度的平方根，做softmax，使值可解釋為概率，再與第二個(gè)模態(tài)的實(shí)際特征相乘，從而為語言學(xué)習(xí)到一組新特征。三個(gè)詞各對(duì)應(yīng)一個(gè)新特征，每個(gè)新特征都利用了與四個(gè)表情的注意力交互。最后用這些特征去預(yù)測(cè)是否為諷刺等標(biāo)簽。

這就是多模態(tài)Transformer的思路，與之前展示的雙線性乘積本質(zhì)相同：多組特征之間考察成對(duì)的交互。兩者的區(qū)別在于表達(dá)力：逐元素相乘只能讓同一維度的特征交互，而外積矩陣允許任意維度間的交互，具體取決于特征本身和問題需求。你還可以通過追加常數(shù)1的方式，在交互矩陣中保留單模態(tài)項(xiàng)和截距項(xiàng)。

當(dāng)然，還可以推廣到三個(gè)或更多模態(tài)。三個(gè)模態(tài)時(shí)，你會(huì)得到一個(gè)三維張量，比如4×4×4的立方體，其中包含了三階交互、兩兩交互、單模態(tài)項(xiàng)和截距項(xiàng)。你可以不斷增加表達(dá)力，但問題在于效率。雙模態(tài)時(shí)矩陣參數(shù)還算合理，三個(gè)四個(gè)模態(tài)后張量會(huì)變得非常大，權(quán)重矩陣過大。為了提高效率，出現(xiàn)了低秩近似方法。例如那個(gè)4×4的交互矩陣不算太大，但當(dāng)你把它連到下一層，比如10類的softmax，需要一個(gè)4×4×10的權(quán)重矩陣，這就非常昂貴了。低秩近似的做法是不學(xué)習(xí)完整的4×4×10矩陣，而是假設(shè)這個(gè)矩陣具有低秩結(jié)構(gòu)，可以近似為幾個(gè)更小矩陣的組合。直觀理解是，一個(gè)10×10的矩陣有100個(gè)參數(shù)，但如果某些維度相關(guān)，它可以近似為若干個(gè)10×10外積的和，參數(shù)大幅減少。視覺上，就是把大立方體分解為有限個(gè)外積之和，通過限制求和數(shù)量來降低參數(shù)，同時(shí)保持足夠的近似能力。

這樣，我們就看到了從簡(jiǎn)單向量開始，逐步構(gòu)建越來越復(fù)雜的乘性交互的過程：從二維、三維到更高階，還可以加入多項(xiàng)式因子，理論上讓模型更具表達(dá)力，更能學(xué)習(xí)復(fù)雜的模態(tài)交互。但始終面臨過擬合的風(fēng)險(xiǎn)，所以需要用交叉驗(yàn)證來監(jiān)控泛化能力。

目前看到的方法中，融合權(quán)重都是靜態(tài)的，對(duì)所有數(shù)據(jù)點(diǎn)都一樣。而另一類稱為門控或動(dòng)態(tài)的方法，其融合權(quán)重會(huì)根據(jù)數(shù)據(jù)本身而變化。就像注意力機(jī)制那樣：給定當(dāng)前模態(tài)，學(xué)習(xí)一組對(duì)自己的注意力權(quán)重，也給另一模態(tài)學(xué)習(xí)注意力權(quán)重。這些權(quán)重隨數(shù)據(jù)點(diǎn)不同而變化。有時(shí)某個(gè)模態(tài)信息很有用，權(quán)重就大；有時(shí)用處不大，權(quán)重可能接近0，信息就被過濾掉。這非常像Transformer中的自注意力。你可以把固定的權(quán)重看作特殊的注意力函數(shù)，而動(dòng)態(tài)權(quán)重可以通過門控機(jī)制實(shí)現(xiàn)，門控可以是軟注意力（0到1連續(xù)值），也可以是硬注意力（離散0/1選擇）。硬注意力更可解釋，但訓(xùn)練更困難。

到目前為止，我們主要討論的是對(duì)稱融合，即兩個(gè)模態(tài)地位相等。但在很多情況下，我們有先驗(yàn)知識(shí)知道某個(gè)模態(tài)更重要，另一個(gè)是次要的。比如人類交流中，90%靠語言，只有10-20%的情況才需要看面部表情或語音。這時(shí)你可能不想用對(duì)稱融合，而希望以主要模態(tài)為核心，次要模態(tài)只做微調(diào)。一類方法就是讓視覺和音頻學(xué)習(xí)一個(gè)門控函數(shù)，決定哪些特征通過、哪些被阻斷，然后用它們來調(diào)制主要模態(tài)（語言）的表示。這可以看作以語言嵌入為中心，次要模態(tài)只對(duì)其進(jìn)行小幅偏移。這樣做也更高效，因?yàn)榇我B(tài)的融合模型可以做得更小。

我們剛才經(jīng)歷了一個(gè)從簡(jiǎn)單到復(fù)雜的融合方法譜系。另一個(gè)極端是早期融合：直接將X_A和X_B拼接起來，讓一個(gè)更大的模型F自己學(xué)會(huì)如何融合，而不需要太多人工特征工程。這在過去非常常見。

現(xiàn)在，很多模型使用Transformer進(jìn)行融合，但相似的理念依然存在。比如文本作為序列，圖像也作為序列，Transformer編碼器本質(zhì)上就是在學(xué)習(xí)成對(duì)的乘性交互。同時(shí)，也不難看到殘差結(jié)構(gòu)的影子：保留圖像獨(dú)有的路徑和文本獨(dú)有的路徑，類似于可加的、單模態(tài)部分，再加上中間的乘性交互部分。這些模型還有一個(gè)趨勢(shì)，就是把對(duì)齊和融合一起做。我們上周講對(duì)齊，今天講融合，你看這些論文，總能看到一個(gè)對(duì)齊目標(biāo)。比如詞與圖像塊的對(duì)齊，用對(duì)比學(xué)習(xí)來優(yōu)化；還有一個(gè)更全局的對(duì)齊目標(biāo)，考慮整個(gè)圖像和整個(gè)描述。全局的對(duì)比損失很好定義，因?yàn)槟阌姓龑?duì)（圖像與正確描述）和負(fù)例對(duì)。但細(xì)粒度對(duì)齊的困難在于沒有單詞與圖像塊級(jí)別的標(biāo)注。最優(yōu)傳輸方法就是用來解決這個(gè)問題的：在只有全局配對(duì)的情況下，自動(dòng)找到最佳的單詞與圖像塊匹配。

有人問能否組合不同粒度的對(duì)齊。是的，比如短語級(jí)別的對(duì)齊就很有用。因?yàn)閮H靠單詞級(jí)對(duì)齊，無法區(qū)分“人站在車前面”和“車站在人前面”這樣的組合關(guān)系。這也是現(xiàn)代模型仍在掙扎的地方。所以融合和對(duì)齊可以相互配合，學(xué)習(xí)到強(qiáng)大的圖像-文本表示，同時(shí)實(shí)現(xiàn)細(xì)粒度的對(duì)齊可視化。

不過，所有這些都是建立在兩個(gè)模態(tài)有大量信息重疊（冗余）的基礎(chǔ)上，比如圖像和描述反映的是同一個(gè)現(xiàn)象，所以基于對(duì)齊的目標(biāo)才有效。如果存在更多獨(dú)特或協(xié)同信息，它們就有被對(duì)比損失丟棄的風(fēng)險(xiǎn)。

也并非一切都完美。這些模型有時(shí)也會(huì)失敗。比如在視頻活動(dòng)識(shí)別中，融合了RGB、光流和音頻等多個(gè)模態(tài)，但有時(shí)組合起來的表現(xiàn)反而更差，至少?zèng)]有提升。花了很多時(shí)間收集數(shù)據(jù)、訓(xùn)練更大的模型，結(jié)果卻不如單模態(tài)模型。原因之一就是單模態(tài)偏差。再比如視覺問答：你訓(xùn)練時(shí)總看到黃色香蕉，所以模型不看圖像，只看到問題“香蕉是什么顏色？”就回答“黃色”。哪怕給它看一個(gè)綠色香蕉，它還是說黃色。這還涉及公平性問題：圖像描述模型總是盯著電腦就假設(shè)是“男人”在辦公，或者看到網(wǎng)球拍就假設(shè)是某個(gè)性別。這些都是單模態(tài)偏差的例子，某個(gè)模態(tài)信息太強(qiáng)，導(dǎo)致優(yōu)化困難。

緩解的方法包括：重新平衡數(shù)據(jù)集（如VQA 2.0為每個(gè)問題都提供兩張可能回答的圖片），添加額外的訓(xùn)練目標(biāo)讓梯度均衡地流向各個(gè)模態(tài)，以及應(yīng)對(duì)模態(tài)學(xué)習(xí)速度不同的問題。有些模態(tài)學(xué)習(xí)快，過早開始過擬合，而其他模態(tài)還沒學(xué)好。一種解決思路是在訓(xùn)練多模態(tài)模型的同時(shí)，跟蹤單模態(tài)模型的泛化速度作為基線，根據(jù)比較結(jié)果動(dòng)態(tài)調(diào)整多模態(tài)模型的學(xué)習(xí)速度。這個(gè)想法很好，但缺點(diǎn)是現(xiàn)在要訓(xùn)練三個(gè)模型，代價(jià)變高。這些都是開放問題。

總結(jié)一下，我們看了多模態(tài)融合。核心是接收不同模態(tài)的數(shù)據(jù)，學(xué)習(xí)一個(gè)聯(lián)合表示，捕捉模態(tài)如何交互：是共有信息、獨(dú)特信息，還是需要更復(fù)雜交互來建模的協(xié)同信息。我們看了從更同質(zhì)的（或通過特征提取變得同質(zhì)的）到更異構(gòu)的模態(tài)的融合譜系。關(guān)鍵要點(diǎn)是：越同質(zhì)，越可以用晚期融合這樣的簡(jiǎn)單方法；我們也看了加性融合，但加性函數(shù)的表達(dá)力不如乘性交互。雙模態(tài)時(shí)是矩陣，三模態(tài)時(shí)變成三維張量，還可以到更高階多項(xiàng)式。這些都需要通過低秩近似等方法提高效率。我們還看了動(dòng)態(tài)權(quán)重的方法，以及早期融合、優(yōu)化中的挑戰(zhàn)等。

這就是今天的快速介紹。與你們項(xiàng)目相關(guān)的部分，可以進(jìn)一步閱讀提供的論文和參考文獻(xiàn)。最后提醒一下，繼續(xù)推進(jìn)項(xiàng)目，閱讀作業(yè)明天截止，為周四的討論做準(zhǔn)備。謝謝大家。