貝葉斯神經網絡的極小極大性與容許性

Minimaxity and Admissibility of Bayesian Neural Networks

貝葉斯神經網絡的極小極大性與容許性

https://arxiv.org/pdf/2604.04673

摘要

貝葉斯神經網絡（BNNs）為深度學習模型中的推斷提供了一種自然的概率表述。盡管它們廣受歡迎，但從統計決策理論的視角來看，其最優性所受到的關注卻十分有限。在本文中，我們研究了在二次損失下，由深度全連接前饋ReLU貝葉斯神經網絡在正態位置模型中誘導出的決策規則。我們證明，對于固定的先驗尺度，所誘導的貝葉斯決策規則并非極小極大最優的。隨后，我們在BNN先驗的有效輸出方差上提出了一種超先驗，該超先驗能產生超調和的平方根邊際密度，從而證明所得的決策規則同時具備容許性與極小極大性。我們進一步將這些結果從二次損失設定擴展到具有庫爾貝克-萊布勒（KL）損失的預測密度估計問題。最后，我們通過數值模擬驗證了我們的理論發現。

關鍵詞： 貝葉斯神經網絡；貝葉斯估計；極小極大性；多元正態均值；恰當貝葉斯；二次損失。

1 引言

在過去幾年中，神經網絡迅速普及，并在圖像分類、時間序列預測和語言建模等廣泛任務中展現出卓越的性能。它們的成功在很大程度上歸功于其建模靈活性，以及提高了其可操作性的計算硬件進步，例如圖形處理單元（GPU）的廣泛應用。貝葉斯神經網絡（BNNs）通過在權重上設置先驗分布來擴展標準神經網絡，從而能夠實現概率建模和不確定性量化，例如通過可信區間[2, 22]。憑借其靈活性和表示不確定性的能力，BNNs被廣泛應用于醫學、金融和天氣預報等對不確定性至關重要的領域。例如，[16]使用BNN對乳腺癌術后患者的預后進行分析。類似地，[7]使用BNNs預測新冠疫情爆發前及期間的股票價格。在[17]中，開發了兩種BNNs：一種用于預測嚴重冰雹的尺寸，另一種用于對冰雹尺寸進行分類。

大量文獻考察了BNNs的理論性質。例如，[21]表明，在極限情況下，具有無限多隱藏單元的BNNs會收斂于高斯過程。隨后的研究（包括[19]）更深入地探討了這種高斯過程行為。[12]表明，在訓練和推理過程中應用Dropout近似對應于深度高斯過程中的貝葉斯推斷。其他研究方向建立了后驗集中結果。例如，[23]針對尖峰-平板先驗證明了此類結果。類似地，[8]建立了具有重尾先驗分布的BNNs的后驗收縮結果，并將這些結果擴展到變分貝葉斯的類比形式。然而，許多理論研究依賴于高度技術化且不現實的假設，這限制了它們的適用性。例如，與許多理論貝葉斯深度學習文獻不同，我們的分析不需要任何深度或寬度隨樣本量增長的網絡架構縮放設定。該結果適用于任意固定的有限架構，這使其與實際應用中使用的設置直接相關。

盡管關于BNNs的理論研究十分豐富，但從統計決策理論視角出發的研究卻寥寥無幾。統計決策理論為在不確定性下選擇估計量提供了一個原則性框架。這一視角有助于解釋BNNs在各任務中強大的實證表現，并為架構選擇（如先驗分布和網絡深度）提供指導。在本工作中，我們從決策理論的視角研究BNNs的性能。

具體而言，我們研究了它們在二次損失下的正態位置模型中的風險。盡管正態位置問題相對簡單，但它已足以讓我們識別出哪些BNN建模選擇能在極小極大意義上產生性能良好的估計量。關于正態位置問題中估計量的極小極大最優性已有豐富的文獻，涵蓋了多種極小極大標準和證明技術，這些內容凸顯了先驗分布、誘導的后驗分布以及所得決策規則的影響。因此，正態位置問題提供了一個放大鏡，突顯了BNNs的哪些方面表現良好，以及標準BNN先驗在何處可以改進，例如通過引入收縮先驗。

BNNs面臨的一個核心挑戰是在網絡權重上構建信息豐富的恰當先驗，這些先驗既要在計算上易于處理，又要傾向于產生具有理想頻率學派性質的解。事實上，[22]將先驗設定視為貝葉斯深度學習中最突出的未解決問題之一，并強調網絡參數上的先驗會誘導出函數空間行為，而該行為最終主導了泛化能力。在此背景下，我們的貢獻是在一個典型設定中，為這一問題提供清晰的決策理論解釋。具體而言，我們證明了標準BNNs所誘導的貝葉斯規則在二次損失下的正態位置問題中并非極小極大最優的，這表明廣泛使用的貝葉斯設定可能無法滿足這一基本的最優性標準。關鍵在于，這一缺陷并非貝葉斯神經建模本身所固有的，而是源于超先驗的選擇：在適當的超先驗下，所誘導的貝葉斯規則同時具備極小極大性和容許性。通過將這些結果擴展到預測密度估計，我們進一步表明，先驗設計的影響不僅限于點估計，還會直接影響預測性能。更廣泛地說，這些發現表明，貝葉斯深度學習的未來不僅取決于使神經貝葉斯過程更具表達力，還取決于確保其所采用的先驗能夠誘導出決策理論上嚴謹的規則。通過這種方式，本文解決了當代貝葉斯深度學習中的一個核心關切：用理論證明的標準取代啟發式的先驗選擇，以判定神經過程何時符合、何時不符合決策理論的合理性。

鑒于[20]提出的先驗-數據擬合網絡（PFNs）的興起，這一視角尤為及時。PFNs通過訓練Transformer來近似對從先驗中采樣的任務進行貝葉斯預測。諸如TabPFN [15]等方法表明，該范式在實踐中具有極強的威力，基于Transformer的PFN在小型表格預測問題上達到了最先進的性能。正因為PFNs學習近似由所選先驗誘導的預測分布，我們的結果表明，先驗設定不僅僅是一種建模上的便利，而是決定所學預測器是否具備堅實決策理論基礎的核心因素。從這個意義上講，PFNs的興起使得本分析尤為重要：隨著PFN類方法日益突出，理解底層先驗何時能產生極小極大且容許的規則變得至關重要。

本文的結構安排如下。在第1節中，我們介紹符號記號，回顧貫穿全文所使用的正態位置模型的統計決策理論結果，描述由固定尺度ReLU BNN所誘導的先驗密度的一般形式，并推導出該先驗的一種更為便捷的正態分布尺度混合表示形式。在第2節中，我們證明由固定尺度ReLU BNN先驗所誘導的邊際密度的平方根并非超調和的。隨后，我們推導相應的決策規則，并證明其并非極小極大最優的。在第3節中，我們在BNN先驗的尺度上引入超先驗，并證明所得先驗會誘導出一個極小極大決策規則。在第4節中，我們將上述結果擴展至庫爾貝克-萊布勒（KL）損失下的預測密度估計問題，表明所提出的超先驗在該設定下同樣能誘導出一個極小極大規則。最后，在第5節中，我們通過模擬實驗闡明我們的理論結果，將固定尺度BNN先驗與所提出的層次BNN先驗，同由其他流行先驗（包括采用Dropout的BNN以及馬蹄先驗）所誘導的決策規則進行比較。證明概要列于正文，完整證明則置于補充材料中。

2 固定尺度的深度貝葉斯 ReLU 網絡不是極小極大的

歐幾里得空間上的徑向函數是指其在任一點處的值僅取決于該點到某一固定中心的距離的函數。眾所周知，徑向函數滿足以下微分方程。

極小極大性提供了最壞情況風險的一致界，而超調和性是邊緣密度平方根的一個逐點準則。當超調和性不成立時，它僅表明進入密度的局部量在樣本空間的某些區域變得不利，這往往會導致該區域的風險膨脹。然而，由于風險是對所有數據值的平均，違反該準則的區域可能攜帶可忽略的概率質量，因此其本身未必排除極小極大性。盡管如此，超調和性的失敗是一個警示信號，需要單獨的論證來得出誘導決策規則不是極小極大的結論。

從這個表達式來看，該估計量具有自然的收縮形式，因為它向 0 收縮。然而，極小極大性取決于在 ∣ ∣ Y ∣ ∣上的一致性收縮輪廓。正如我們在證明中所示，當 ∣ ∣ θ ∣ ∣ ∣ 很大時，風險超過了極小極大水平。這是因為固定尺度誘導出的先驗預測密度尾部過輕，導致對于大信號的收縮適應性不足。這意味著固定尺度的 BNN 先驗可能會導致過程在最壞情況下的表現次優，盡管它們在典型數據集上表現良好。因此，在第 3 節中，我們引入尺度混合以恢復極小極大保證，并針對所有 ∣ ∣ θ ∣ ∣ > 0達到極小極大風險（或更低）。我們在補充材料中提供了定理 2.6 的完整證明。我們首先將固定尺度 BNN 的貝葉斯規則重寫為 Barancik 形式：

3 誘導極小極大貝葉斯決策規則的尺度超先驗示例

從第 2 節可知，由固定尺度貝葉斯神經網絡（BNN）先驗所誘導的邊緣密度不是超調和的，且其誘導的決策規則也不是極小極大的。直觀地說，這是由于 BNN 先驗密度的尾部過輕所致。因此，我們在尺度上設置一個超先驗以誘導足夠重的尾部，從而得到一種極小極大決策規則：當 ∣ ∣ y ∣ ∣ 很大時，該決策規則趨向于 y 。我們選擇 BetaPrime
先驗，因為它具有重尾特性，允許通過增加方差來解釋大信號，而不是對其進行強制收縮。由此得出以下定理。

值得注意的是，盡管重尾分布在本文中有理論動機，但在貝葉斯深度學習中也觀察到它們在實踐中出現。特別是，眾所周知，在使用隨機梯度下降訓練前饋神經網絡期間，權重變得越來越重尾。因此，增加深度，更重要的是，引入適當的方差超先驗可能有助于減輕可能錯誤設定的先驗（例如權重的標準高斯先驗）的影響，正如第 1.4 節所討論的那樣。關于這種行為及其與冷后驗效應（cold posterior effect）的關系的更多信息，請參見 [9]。

鑒于混合密度的形式，我們還可以推導出誘導的貝葉斯決策規則的容許性。

Strawderman 先驗 [26] 在正態均值問題的收縮因子上放置了一個 Beta 超先驗，誘導出了一個既是極小極大又是容許的正常貝葉斯估計量。其關鍵機制在于誘導出的邊緣密度具有足夠重的尾部——具體而言，其平方根是超調和的（superharmonic）——這正是保證極小極大性的條件。在 BNN 設定中，對輸出方差采用 Beta-Prime 超先驗同樣產生了一個超調和的平方根邊緣密度，從而導出了一個極小極大容許貝葉斯規則。因此，Beta-Prime 構造是 Strawderman 先驗的自然類比，并已針對網絡架構產生的參數化進行了適配。

4 預測密度問題中的極小極大性和容許性

在本節中，我們考慮 [5] 和 [14] 中討論的估計預測密度的問題。特別是，我們可以將正態位置模型在二次損失下的容許貝葉斯決策規則擴展到預測密度估計設定中。

4.1 決策問題

4.2 極小極大性與容許性

在本節中，我們證明：由在有效輸出方差上具有 BetaPrime 超先驗的深度 ReLU BNN 所產生的先驗分布所誘導的貝葉斯預測密度是極小極大的（minimax）且是容許的（admissible）。

我們已經證明，由帶有 BetaPrime 超先驗的深度 ReLU 貝葉斯神經網絡所產生的先驗，誘導出了一個極小極大決策規則，該規則既適用于在二次風險下估計正態位置模型的均值，也適用于在 Kullback-Leibler 風險下的正態位置模型設定中估計預測密度。我們的結果表明，極小極大性在方差重縮放下是穩定的。也就是說，預測改進并不綁定于特定的噪聲水平，并且避免了我們需要針對每種預測方差組合重新檢查超調和性條件。特別是，鑒于 [14] 中的引理 2，該先驗分布在這兩個問題中通過收縮默認估計量，誘導出了類似的收縮行為。在二次風險設定中，這是最大似然估計量 Y ，而在 Kullback-Leibler 風險設定中，這是在均勻先驗下的貝葉斯預測密度。我們還證明了誘導出的貝葉斯預測密度是容許的。

5 模擬示例

5.1 徑向決策規則模擬

回顧第 2 節，由固定尺度貝葉斯神經網絡（BNN）誘導的決策規則是

5.2 依賴于稀疏性的模擬

6 結論

我們已經證明，在二次損失下，由深度、固定尺度的 ReLU BNN 誘導的決策規則在正態位置模型中不是極小極大的（minimax），因為先驗預測密度具有拉伸指數尾部，這對大信號施加了過度保守的收縮。隨后，我們在網絡先驗的有效輸出方差上提出了一個 BetaPrime 超先驗，它通過誘導足夠重的尾部來恢復極小極大性：它對弱信號向原點強烈收縮，并對大信號足夠快地減少收縮。我們進一步確立了誘導貝葉斯規則的容許性（admissibility），并將極小極大性和容許性結果都擴展到了 Kullback–Leibler 損失下的預測密度估計。這些理論性質在二次損失下的數值模擬研究中得到了驗證。未來工作的一個有趣方向是刻畫那些誘導極小極大決策規則的更廣泛的超先驗族；一條自然的途徑是利用 Fox-H 函數 [18]，它包含了許多超先驗族，包括此處提出的 BetaPrime 超先驗。

原文鏈接：https://arxiv.org/pdf/2604.04673