加權貝葉斯共形預測

Weighted Bayesian Conformal Prediction

加權貝葉斯共形預測

https://arxiv.org/pdf/2604.06464

摘要

1 引言

共形預測（CP）[Vovk et al., 2005] 提供了具有有限樣本覆蓋率保證的無分布預測區間：對于任何模型和未覆蓋率（miscoverage level） α ，構建的預測集包含真實結果的概率至少為 1 ? α 。這一優雅的保證使 CP 成為現代不確定性量化的基石 [Lei et al., 2018, Romano et al., 2019]。

加權共形預測。 當測試分布和校準分布不同（協變量偏移）時，Tibshirani 等人 [2019] 引入了加權可交換性（weighted exchangeability）的概念，并證明了通過似然比對校準分數進行重加權可以保持有效的覆蓋率保證。這一基礎性結果已被應用于空間設置 [Lou et al., 2025]、域適應（domain adaptation）和公平感知預測。但是，加權 CP 仍然是純粹頻率學派的：它用加權分位數 替換了均勻分位數，這仍然是每個權重剖面下的單一確定性閾值。它解決了協變量偏移問題，但完全沒有解決元不確定性問題。

差距。 現有方法均未同時提供 (i) BQ-CP 關于閾值的貝葉斯后驗和數據條件保證，以及 (ii) 加權 CP 的分布偏移魯棒性。這一差距不僅僅是理論上的：例如，在空間預測中，基于 200 個附近可比銷售數據的預測區間，與基于 5 個遙遠銷售數據的區間，其可靠性有著根本的不同——然而，無論是 BQ-CP（完全忽略了空間結構）還是加權 CP（不提供元不確定性）都無法區分這些情況。

我們的貢獻：加權貝葉斯共形預測（WBCP）。 我們通過將 BQ-CP 推廣到任意的重要性加權設置來彌合這一差距。我們的關鍵見解是，那些為加權 CP 提供覆蓋率保證的重要性權重 [Tibshirani et al., 2019]，通過加權貝葉斯自助法（weighted Bayesian bootstrap）[Newton and Raftery, 1994] 自然地映射到狄利克雷集中參數，其中 Kish 有效樣本量 充當集中縮放因子。至關重要的是，WBCP 沒有引入新的假設：它繼承了加權 CP 的加權可交換性假設，并用完整的后驗分布豐富了由此產生的點估計閾值。具體而言，我們做出了以下貢獻：

2 背景

2.1 分裂共形預測

2.2 加權共形預測

標準 CP 要求訓練數據和測試數據具有可交換性，這在分布偏移（distribution shift）下會失效。Tibshirani 等人 [2019] 通過引入加權可交換性（weighted notion of exchangeability）概念，將 CP 擴展到了可交換性之外，并證明了適當重加權的共形過程能夠保留覆蓋率保證。

該框架涵蓋了協變量偏移校正、空間加權（GeoCP, Lou et al., 2025）以及局部共形預測（localized CP）[Guan, 2023]。在所有情況下，輸出都是每個權重剖面下的單一確定性閾值——加權分位數沒有提供關于其自身可靠性的任何信息。

2.3 作為貝葉斯求積的共形預測（BQ-CP）

Snell 和 Griffiths [2025] 表明，共形閾值選擇可以被視為針對期望損失的貝葉斯求積。期望損失的隨機上界為：

3 加權貝葉斯共形預測

3.1 通用框架

3.2 有效樣本量作為集中參數

3.3 通過蒙特卡洛采樣獲取 HPD 閾值

算法 1 總結了 WBCP 過程。關于閾值的后驗分布是通過狄利克雷采樣獲得的，而 HPD 閾值提供了數據條件保證。

3.4 形式化元不確定性

WBCP 的輸出形式化了 §1 中引入的兩個不確定性層級之間的區別。我們現在使這一區別在數學上精確化。

表 1 總結了每種方法提供的不確定性輸出。WBCP 是唯一一種同時處理非均勻權重并提供關于閾值的后驗分布的方法。

4 理論結果

4.1 校準一致性

4.2 后驗集中速率

4.3 加權隨機占優

4.4 條件覆蓋率界限

5 應用：地理貝葉斯共形預測

我們將 WBCP 實例化用于空間預測，其中重要性權重源于地理核函數。這一實例化與 Tibshirani 等人 [2019] 的局部條件覆蓋率（local conditional coverage）框架有著自然的理論聯系。

6 實驗

我們評估了五種變體：標準 CP、加權 CP (GeoCP)、WBCP (GeoBCP)、自適應加權 CP (AdaGeoCP) 以及自適應 WBCP (AdaGeoBCP)。所有方法均使用 α = 0.1 ， β = 0.9 ，以及 M = 1000 個 MC 樣本。

6.1 合成空間數據

6.2 現實世界空間數據

7 相關工作

共形預測。 CP [Vovk et al., 2005] 及其分裂變體 [Papadopoulos et al., 2002, Lei et al., 2018] 提供了無分布覆蓋率。擴展包括共形分位數回歸 [Romano et al., 2019]、共形風險控制 [Angelopoulos et al., 2024, Bates et al., 2021] 以及分布共形 CP [Chernozhukov et al., 2021]。

加權和局部 CP。 Tibshirani 等人 [2019] 引入了加權可交換性，并證明了重加權共形過程在協變量偏移下能保持覆蓋率，確立了 WBCP 所構建的理論基礎。Guan [2023] 提出了基于核的局部化方法。Lou 等人 [2025] 將空間加權應用于地理預測。所有這些方法仍然屬于頻率學派，僅提供點估計閾值，而不包含元不確定性。

CP 的貝葉斯方法。 Fong 和 Holmes [2021] 探索了共形貝葉斯計算。Snell 和 Griffiths [2025] 建立了在獨立同分布（i.i.d.）數據下具有數據條件保證的 BQ-CP。我們的工作直接將 BQ-CP 擴展到了加權設置。

空間 UQ（不確定性量化）。 克里金法（Kriging）[Fotheringham et al., 2002] 在高斯假設下提供空間預測方差。GeoCP [Lou et al., 2025] 是無分布的，但屬于頻率學派。WBCP 結合了兩者的優勢。

8 討論與結論

原文鏈接：https://arxiv.org/pdf/2604.06464