為什么光照對純視覺自動駕駛影響較大？

[首發(fā)于智駕最前沿微信公眾號]在自動駕駛的技術(shù)路線中，純視覺方案因其模仿人類駕駛邏輯與低廉的硬件成本，一直是很多車企的選擇。但這種高度依賴攝像頭的感知方式，在夜幕降臨、車輛駛?cè)胗陌档乃淼溃蚴窃庥鰪?qiáng)烈的逆光直射、漫天的雨雪濃霧時(shí)，感知能力會發(fā)生斷崖式下跌。為什么光照對純視覺自動駕駛影響較大？

被動感知的物理天花板

純視覺感知系統(tǒng)本質(zhì)上是一個基于環(huán)境光反射的被動測量系統(tǒng)。這一特性的核心在于，攝像頭本身并不向外發(fā)射能量，它所獲取的所有信息都來源于外界光源，都是太陽、路燈或其他車輛的燈光照射到物體表面后反射回來的光子。

這種工作模式與人類的眼睛如出一轍，當(dāng)環(huán)境光線充足且分布均勻時(shí)，攝像頭能夠捕捉到極為豐富的顏色、紋理和語義信息，這些信息對于識別交通標(biāo)志、判斷路面標(biāo)線以及理解復(fù)雜的交通意圖具有不可替代的優(yōu)勢。但一旦光源缺失或光環(huán)境變得極端，被動感知的弊端便暴露無遺。

圖片源自：網(wǎng)絡(luò)

相比之下，激光雷達(dá)等有源傳感器則是“自帶手電筒的視覺”。激光雷達(dá)通過主動向外發(fā)射受控的激光脈沖，并接收從目標(biāo)反射回來的能量，利用飛行時(shí)間原理直接計(jì)算物體的空間坐標(biāo)。這種主動探測機(jī)制使得激光雷達(dá)在全黑的夜晚依然能維持極高的感知精度，且?guī)缀醪皇墉h(huán)境光干擾。

在低光照環(huán)境下，攝像頭傳感器面臨的首要挑戰(zhàn)是信噪比（SNR）的急劇下降。當(dāng)光子稀少時(shí)，傳感器捕捉到的有效信號可能被電路產(chǎn)生的熱噪聲所淹沒。為了在黑暗中“看清”物體，系統(tǒng)必須延長曝光時(shí)間或增加感光度（ISO）。

延長曝光時(shí)間在動態(tài)駕駛場景中是極其危險(xiǎn)的，因?yàn)檐囕v與目標(biāo)的相對運(yùn)動會導(dǎo)致圖像出現(xiàn)嚴(yán)重的運(yùn)動模糊，使得原本清晰的目標(biāo)輪廓變得如同虛影。

而盲目提高感光度則會引入大量隨機(jī)噪聲，使畫面充滿雜質(zhì)，嚴(yán)重干擾后端神經(jīng)網(wǎng)絡(luò)對物體特征的提取。這種在物理層面就已受損的“原始材料”，注定了純視覺方案在暗光下的步履維艱。

環(huán)境介質(zhì)對光波的攔截與扭曲

自動駕駛車輛并不是在真空中行駛，光線從物體表面反射回?cái)z像頭的過程中，必須穿過復(fù)雜的大氣環(huán)境。雨、雪、霧等惡劣天氣本質(zhì)上是改變了光波的傳播路徑，通過散射、折射和吸收等物理現(xiàn)象，對視覺感知構(gòu)成了多重封鎖。

霧氣對視覺的影響主要源于米氏散射（Mie Scattering）。霧滴的直徑通常與可見光的波長相當(dāng)，當(dāng)光波遇到這些微小水滴時(shí)，會向四面八方發(fā)生強(qiáng)烈的散射。

這種散射效應(yīng)會產(chǎn)生兩個嚴(yán)重后果，一是光線在傳播過程中的強(qiáng)度迅速衰減，導(dǎo)致遠(yuǎn)距離物體在圖像中消失；二是背景光和環(huán)境光被散射成了白茫茫的“幕簾”，大大降低了目標(biāo)的對比度。

從信號處理的角度看，霧氣相當(dāng)于在圖像上疊加了一個大尺寸的低通濾波器，濾除了大部分的高頻細(xì)節(jié)。神經(jīng)網(wǎng)絡(luò)在處理這類圖像時(shí)，很難識別出被霧氣遮蔽的行人邊緣或車道線，這會導(dǎo)致識別置信度大幅下降，甚至完全漏檢。

圖片源自：網(wǎng)絡(luò)

雨天場景則會帶來另一個問題。下落的雨滴具有極高的透明度和特殊的幾何形狀，每一顆雨滴都像是一個微小的球形透鏡，會對穿過的光線產(chǎn)生折射和全反射。這會導(dǎo)致攝像頭捕捉到的畫面出現(xiàn)局部的扭曲和偽影。

更嚴(yán)重的問題發(fā)生在攝像頭表面的保護(hù)玻璃上，粘附的雨滴會造成大面積的畫面模糊。由于這些雨滴處于攝像頭的近焦位置，它們會形成嚴(yán)重的散焦，使畫面中的關(guān)鍵區(qū)域變得不可見。

在雪天環(huán)境下，視覺系統(tǒng)還會面臨對比度缺失與物理覆蓋的雙重考驗(yàn)。雪花具有極高的光反射率，在強(qiáng)光照射下會導(dǎo)致圖像大面積過曝；而在陰天，白色的雪地與同樣色系的白色車輛、路標(biāo)之間缺乏足夠的對比度，導(dǎo)致感知算法難以區(qū)分目標(biāo)與背景。此外，粘滯的積雪可能會直接覆蓋在攝像頭鏡頭上，這種物理層面的“致盲”是任何軟件算法都無法挽回的。

這些物理層面的干擾直接挑戰(zhàn)了純視覺系統(tǒng)對空間幾何結(jié)構(gòu)的建模能力。由于攝像頭無法像激光雷達(dá)那樣通過精確的脈沖返回時(shí)間來剝離環(huán)境噪聲，它必須在雜亂無章的像素點(diǎn)中通過概率預(yù)測來猜測物體的存在。在這種情況下，物理規(guī)律對光線的攔截，實(shí)際上切斷了視覺系統(tǒng)賴以生存的信息源。

圖像信號處理器，被忽視的信息損耗環(huán)節(jié)

即便光線成功穿透大氣并被攝像頭傳感器捕捉，從感光單元輸出的原始電信號（RAW數(shù)據(jù)）到最終進(jìn)入自動駕駛大腦的彩色圖像（RGB圖像），中間還隔著一個復(fù)雜的環(huán)節(jié)，那就是圖像信號處理器（ISP）。

長期以來，車載ISP的調(diào)優(yōu)目標(biāo)都是為了服務(wù)于“人眼觀看”，即追求色彩鮮艷、對比度高、噪點(diǎn)少的視覺效果。但這種追求“美感”的處理流程，對于機(jī)器視覺算法來說，其實(shí)是一場災(zāi)難。

ISP的處理流程包含去馬賽克、白平衡校正、去噪、伽馬校正和色調(diào)映射等多個階段。在低光照或高動態(tài)（HDR）場景下，ISP的副作用尤為明顯。為了抑制暗光下的噪點(diǎn)，ISP會采用強(qiáng)力的空間域或頻率域去噪算法。這些算法在抹除隨機(jī)噪聲的同時(shí)，也會無差別地抹掉微小的紋理細(xì)節(jié)，導(dǎo)致圖像呈現(xiàn)出一種“油畫感”。

對于人類駕駛員來說，這種平滑處理可能提升視覺舒適度，但對于依賴像素級特征梯度進(jìn)行物體檢測的深度學(xué)習(xí)模型來說，這意味著丟失了判斷物體邊緣的關(guān)鍵高頻信息。

圖片源自：網(wǎng)絡(luò)

還有一個問題在于動態(tài)范圍的處理。自然界的亮度跨度可能超過140dB，而主流車載攝像頭傳感器的動態(tài)范圍一般在120dB左右。當(dāng)車輛駛出黑暗隧道突然面對刺眼的陽光時(shí)，ISP必須在極短的時(shí)間內(nèi)調(diào)整曝光參數(shù)。

傳統(tǒng)的HDR技術(shù)通過多幀曝光合成來實(shí)現(xiàn)高動態(tài)顯示，但這在高速行駛中會引入嚴(yán)重的運(yùn)動偽影。由于不同曝光幀之間存在時(shí)間差，快速移動的物體在合成后的畫面中會出現(xiàn)重影或虛影，導(dǎo)致自動駕駛算法無法準(zhǔn)確判斷物體的邊界位置。

此外，ISP執(zhí)行的色調(diào)映射（Tone Mapping）和伽馬校正（Gamma Correction）本質(zhì)上是一種非線性的信息壓縮過程。為了將傳感器捕獲的20位或24位高動態(tài)RAW數(shù)據(jù)映射到8位或10位的RGB空間，ISP會強(qiáng)行壓縮陰影和高光區(qū)域的對比度。

在這個過程中，原本在RAW域中清晰可辨的微小亮度差異被強(qiáng)行歸并為同一個像素值。這種數(shù)學(xué)上的不可逆損耗，會讓感知網(wǎng)絡(luò)失去在極端光影場景下進(jìn)行“微秒級察覺”的可能性。

這種“人眼導(dǎo)向”與“機(jī)器導(dǎo)向”的錯位，是純視覺方案在極端場景下表現(xiàn)不佳的重要誘因。目前有技術(shù)方案正嘗試跳過傳統(tǒng)的ISP，直接利用RAW域數(shù)據(jù)進(jìn)行端到端的物體檢測訓(xùn)練，以保留光電傳感器的所有原始信息，這從側(cè)面證明了傳統(tǒng)處理流程在光影難題中的局限性。

深度學(xué)習(xí)在極端場景下的認(rèn)知邊界

純視覺自動駕駛離不開深度學(xué)習(xí)算法，然而，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）或Transformer的物體檢測模型，其性能高度依賴于訓(xùn)練數(shù)據(jù)的分布。在面對光照顯著惡化的場景時(shí)，算法層面的“認(rèn)知”也會出現(xiàn)嚴(yán)重的偏差。

神經(jīng)網(wǎng)絡(luò)提取物體特征的基礎(chǔ)在于像素間的對比度梯度。在強(qiáng)逆光或夜間遠(yuǎn)光燈直射的情況下，光線會產(chǎn)生嚴(yán)重的“眩光”和“溢出”（Blooming）效應(yīng)。當(dāng)一個極亮的點(diǎn)光源（如對向車的遠(yuǎn)光燈）照射到傳感器上時(shí)，產(chǎn)生的電荷會溢出到相鄰的像素中，導(dǎo)致圖像中出現(xiàn)大面積的亮斑。

這種現(xiàn)象不僅遮蓋了障礙物本身的紋理，還徹底破壞了物體的幾何輪廓。當(dāng)特征圖中的高頻分量由于過曝或極低亮度而消失時(shí)，卷積核將無法捕捉到有效的激活信號，導(dǎo)致系統(tǒng)在邏輯上“無視”了障礙物的存在。

圖片源自：網(wǎng)絡(luò)

此外，單目純視覺系統(tǒng)獲取深度的唯一途徑是依靠算法猜測。模型通過識別物體的類型，結(jié)合“近大遠(yuǎn)小”的經(jīng)驗(yàn)值或路面紋理的變化來推算距離。但在光照極差的夜晚，路面紋理幾乎不可見，物體的視覺特征由于噪聲干擾而失真。

此時(shí)，算法的深度推算將變得極不穩(wěn)定。即使系統(tǒng)識別出了前方有一個行人，也可能因?yàn)闊o法準(zhǔn)確判斷其距離而導(dǎo)致緊急制動的決策失靈。在高速場景下，幾米的距離偏差就足以決定一場事故的發(fā)生。

還有一個更深層次的問題，目前的純視覺模型本質(zhì)上是在進(jìn)行一種“模式匹配”。當(dāng)訓(xùn)練數(shù)據(jù)集中99%的場景都是晴天、光照良好的公路時(shí)，模型會形成一種先驗(yàn)偏見。

當(dāng)它在夜間隧道口遇到由于劇烈光影交替而產(chǎn)生的怪異輪廓時(shí)，模型可能會將其錯誤地分類為不具威脅的陰影或路面雜質(zhì)。這種對長尾場景（Edge Cases）的泛化能力缺失，是純視覺方案通往L4及以上自動駕駛時(shí)必須跨越的鴻溝。

最后的話

從被動感知的低信噪比，到大氣介質(zhì)對光子的攔截，再到ISP處理中的數(shù)據(jù)裁剪，最后到神經(jīng)網(wǎng)絡(luò)在特征缺失面前的認(rèn)知無力，每一個環(huán)節(jié)都在累加純視覺自動駕駛感知的誤差。雖然隨著更大動態(tài)范圍傳感器的應(yīng)用、端到端RAW域感知的引入以及跨模態(tài)訓(xùn)練數(shù)據(jù)的補(bǔ)齊，純視覺方案的邊界正在不斷擴(kuò)展，但其物理屬性決定的“光影死角”，依然是行業(yè)在平衡安全性與成本時(shí)必須慎重對待的核心議題。