誤差如何被數(shù)學(xué)控制住：范數(shù)與 Banach 空間 | 泛函分析第五講

導(dǎo)語(yǔ)

集智學(xué)園聯(lián)合東京都市大學(xué)賈伊陽(yáng)老師共同開(kāi)設(shè)了「」課程，本系列課程將以嚴(yán)謹(jǐn)?shù)睦碚撏茖?dǎo)為核心，逐步建立泛函分析的基礎(chǔ)架構(gòu)。第一階段將探討從有限維跨越到無(wú)限維的動(dòng)機(jī)與基礎(chǔ)；第二階段將重點(diǎn)建立度量與完備性，掌握 Banach 空間與不動(dòng)點(diǎn)定理的精髓；第三階段將深入探討 Hilbert 空間的幾何結(jié)構(gòu)與對(duì)偶空間的映射體系。最終，在第四階段，將梳理完整的結(jié)構(gòu)總覽與應(yīng)用地圖，透視這些純粹的數(shù)學(xué)工具如何作為底層基石，廣泛應(yīng)用于現(xiàn)代物理、復(fù)雜系統(tǒng)模擬與前沿計(jì)算科學(xué)中。

作為系列課程的第五講，賈伊陽(yáng)老師將以「范數(shù)與 Banach 空間」為主題，這一節(jié)中范數(shù)是“選擇關(guān)心哪種誤差”的語(yǔ)言，而B(niǎo)anach 空間的完備性，保證這種選擇在極限處仍然成立，本節(jié)課程將聚焦誤差控制與算子穩(wěn)定性場(chǎng)景，系統(tǒng)闡述范數(shù)的定義及常見(jiàn)的??與C[a,b]空間。課程將深入解析Banach空間的完備賦范屬性，體會(huì)其作為“確保解存在性的核心數(shù)學(xué)舞臺(tái)”的意義。正式分享將于5月10日（周日）19:00-20:30進(jìn)行。

主題：函數(shù)空間作為向量空間

課程簡(jiǎn)介

神經(jīng)網(wǎng)絡(luò)的譜范數(shù)歸一化為何能穩(wěn)定 GAN 的訓(xùn)練？最大均值差異（MMD）如何把兩個(gè)概率分布的比較轉(zhuǎn)化為一個(gè)函數(shù)空間的范數(shù)計(jì)算？這些機(jī)器學(xué)習(xí)的技術(shù)細(xì)節(jié)，根植于同一套數(shù)學(xué)結(jié)構(gòu)：范數(shù)與 Banach 空間。

本系列課程第五講，以“誤差為什么重要”為起點(diǎn)建立范數(shù)直覺(jué)：不同范數(shù)衡量不同類(lèi)型的誤差，算子穩(wěn)定性取決于誤差能否被控制在可接受范圍內(nèi)。在此基礎(chǔ)上引入 Banach 空間的完備性，解釋為何理論上許多算法必須在完備空間中才有意義。

課程內(nèi)容直接錨定一線研究文獻(xiàn)。Gretton 等人（JMLR 2012）用 RKHS 范數(shù)實(shí)現(xiàn)兩樣本檢驗(yàn)；Bartlett 等人（NeurIPS 2017）用譜范數(shù)建立神經(jīng)網(wǎng)絡(luò)的泛化界。課程逐步拆解這兩篇論文背后的數(shù)學(xué)機(jī)制，并延伸至 Path norm、Wasserstein 距離、Sobolev 范數(shù)等當(dāng)代學(xué)習(xí)理論的核心工具。理論補(bǔ)充部分討論算子范數(shù)的代數(shù)性質(zhì)、有界線性算子的連續(xù)性、組合算子的誤差傳播，以及 Ban 作為 enriched category 的結(jié)構(gòu)視角。

學(xué)完本講，你能夠準(zhǔn)確理解不同范數(shù)選擇背后的誤差幾何，讀懂涉及譜范數(shù)和 RKHS 范數(shù)的機(jī)器學(xué)習(xí)論文，并在完備性假設(shè)的背景下評(píng)價(jià)算法的穩(wěn)定性保證。

課程大綱

1. 為什么很多算法在理論上需要完備性？

a. 目標(biāo)：理解三個(gè)問(wèn)題：

1. 如何用范數(shù)度量誤差？

2. 算子為什么可能放大誤差？

3. Banach 空間為什么是討論穩(wěn)定性的基本空間？

2. 場(chǎng)景驅(qū)動(dòng)：誤差為什么重要

3. 論文1：概率密度作為范數(shù)

a. Gretton et al. (2012), A Kernel Two-Sample Test, JMLR.

4. 論文2：譜范數(shù)（算子范數(shù)）控制算子穩(wěn)定性與復(fù)雜度

a. Bartlett, Foster, Telgarsky, “Spectrally-normalized margin bounds for neural networks”, NeurIPS 2017

5. 其他相關(guān)文獻(xiàn)

6. 關(guān)于Banach空間的補(bǔ)充

關(guān)鍵術(shù)語(yǔ)

• Banach 空間：完備的賦范線性空間；Cauchy 序列的極限必須仍在空間內(nèi)，許多收斂性定理以此為前提。

• 算子范數(shù)（譜范數(shù)）：線性算子將單位球映射出的最大拉伸倍數(shù)，衡量算子對(duì)輸入誤差的放大程度。

• RKHS（再生核 Hilbert 空間）：由核函數(shù)定義的函數(shù)空間，每個(gè)點(diǎn)處的函數(shù)值可通過(guò)核的內(nèi)積表示。

• 最大均值差異（MMD）：用 RKHS 范數(shù)定義的概率分布距離，可直接由樣本估計(jì)，無(wú)需密度估計(jì)。

• 譜歸一化（Spectral Normalization）：將權(quán)重矩陣除以其譜范數(shù)，將網(wǎng)絡(luò)的 Lipschitz 常數(shù)控制在 1 以?xún)?nèi)。

• 有界線性算子：滿(mǎn)足 ‖Ax‖ ≤ C‖x‖ 的線性映射，有界與連續(xù)在賦范空間中等價(jià)。

• Path norm：ReLU 網(wǎng)絡(luò)中沿激活路徑積的范數(shù)，對(duì)參數(shù)的重縮放變換不變，更準(zhǔn)確刻畫(huà)網(wǎng)絡(luò)復(fù)雜度。

• Wasserstein 距離：基于最優(yōu)傳輸?shù)母怕史植季嚯x，在生成模型（WGAN）理論分析中廣泛使用。

• Sobolev 范數(shù)：同時(shí)控制函數(shù)值與各階導(dǎo)數(shù)大小的范數(shù)，用于度量函數(shù)的光滑性與對(duì)擾動(dòng)的穩(wěn)定性。

• Enriched category（豐化范疇）：Ban 的代數(shù)結(jié)構(gòu)視角；態(tài)射集本身構(gòu)成 Banach 空間，保留線性與度量信息。

課程信息

課程主題：范數(shù)與 Banach 空間

課程時(shí)間：2026年5月10日（周日） 19:00-20:30

課程形式：騰訊會(huì)議（會(huì)議信息見(jiàn)群內(nèi)通知）；集智學(xué)園網(wǎng)站錄播（3個(gè)工作日內(nèi)上線）

課程主講人

賈伊陽(yáng)，東京都市大學(xué)講師、前日本女子大學(xué)助理教授，前日本成蹊大學(xué)助理教授。研究重點(diǎn)是計(jì)算復(fù)雜性，算法，以及范疇相關(guān)理論。集智學(xué)園《》課程講師。

課程適用對(duì)象

• 做微分方程、數(shù)值算法、反問(wèn)題、信號(hào)處理、控制的學(xué)習(xí)者與研究者

• 做優(yōu)化、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)推斷，希望理解正則化與泛化的結(jié)構(gòu)來(lái)源的研究者

• 讀量子/數(shù)學(xué)物理文獻(xiàn)，希望把 Hilbert 空間與算子語(yǔ)言用順手的研究者

• 更廣義地：經(jīng)常處理“函數(shù)作為未知量”的問(wèn)題、并且想要一套可遷移框架的研究者

1. 面對(duì)一個(gè)新問(wèn)題，你能先問(wèn)對(duì)問(wèn)題：該在哪個(gè)空間里解？該用哪個(gè)范數(shù)衡量誤差？需要什么完備性？算子是否有界？

2. 你能理解常見(jiàn)方法背后的統(tǒng)一邏輯：迭代為何收斂、正則化為何穩(wěn)定、最小二乘為何等價(jià)于投影、弱解為何成立。

3. 你會(huì)獲得一套“抽象但可落地”的語(yǔ)言：寫(xiě)證明、讀論文、做建模時(shí)，能把碎片化技巧收束到結(jié)構(gòu)層面。

1. 課程形式：騰訊會(huì)議直播，集智學(xué)園網(wǎng)站錄播。本系列課程不安排免費(fèi)直播。

2. 課程周期：2026年3月29日-2026年6月14日，每周日晚19點(diǎn)-21點(diǎn)進(jìn)行。

3. 課程定價(jià)：原價(jià)499

   1. 早早鳥(niǎo)價(jià)299，截止時(shí)間：2026年3月22日中午12點(diǎn)

   2. 早鳥(niǎo)價(jià)399，截止時(shí)間：2026年3月30日中午12點(diǎn)

課程鏈接：https://campus.swarma.org/v3/course/5700?from=wechat

付費(fèi)流程：

2. 課程頁(yè)面添加學(xué)員登記表，添加助教微信入群；

3. 課程可開(kāi)發(fā)票。

課程共創(chuàng)任務(wù)：課程字幕

為鼓勵(lì)學(xué)員深度參與、積極探索，我們致力于形成系列化知識(shí)傳播成果，并構(gòu)建課程知識(shí)共建社群。為此，我們特別設(shè)立激勵(lì)機(jī)制，讓您的學(xué)習(xí)之旅滿(mǎn)載收獲與成就感。

課程以老師講授為主，每期結(jié)束后，助教會(huì)于課程群內(nèi)發(fā)布字幕共創(chuàng)任務(wù)。學(xué)員通過(guò)參與這些任務(wù)，不僅能加深對(duì)內(nèi)容的理解，還可獲得積分獎(jiǎng)勵(lì)。積分可兌換其他讀書(shū)會(huì)課程或?qū)嵨铼?jiǎng)品，助力您的持續(xù)成長(zhǎng)。