江蘇
[首發(fā)于智駕最前沿微信公眾號]在聊今天的話題前，先申明下，對于純視覺自動(dòng)駕駛來說，夜晚確實(shí)是一個(gè)極具挑戰(zhàn)的場景，今天僅從技術(shù)實(shí)現(xiàn)上來討論純視覺自動(dòng)駕駛在夜間感知場景的可能性。
很多老司機(jī)應(yīng)該都會(huì)有感覺，那就是在黑夜里開車會(huì)感到吃力，這是因?yàn)槲覀兊囊暰W(wǎng)膜對光線的捕捉能力有限，而攝像頭在弱光環(huán)境下的表現(xiàn)也如出一轍。但隨著硬件技術(shù)和深度學(xué)習(xí)算法的爆發(fā)式增長，純視覺系統(tǒng)在黑夜里的視力已經(jīng)發(fā)生了變化。
硬件層面是如何在黑夜里抓光的？
要解決夜晚感知的問題，首先得解決看得見的問題。車載攝像頭和我們手機(jī)里的攝像頭原理類似，但在底層邏輯上有著很大區(qū)別。為了在微弱的光線下獲取清晰的圖像，自動(dòng)駕駛車輛會(huì)采用大底的CMOS傳感器。這些傳感器的單個(gè)像素點(diǎn)尺寸更大，意味著它們在同一時(shí)間內(nèi)能接收到更多的光子。這就像用一個(gè)更大的桶去接雨水，在雨點(diǎn)稀疏的時(shí)候，大桶顯然比小桶能裝到更多的水，對應(yīng)到夜間場景，單個(gè)像素點(diǎn)尺寸更大的傳感器也更能保證畫面的基礎(chǔ)亮度。
圖片源自：網(wǎng)絡(luò)
除了進(jìn)光量，高動(dòng)態(tài)范圍技術(shù)，也就是常說的HDR，也是純視覺方案在夜晚的護(hù)身符。夜晚的路面光影極其復(fù)雜，既有漆黑的暗巷，又有對面車輛射來的刺眼遠(yuǎn)光燈。普通的相機(jī)如果照顧了暗部，亮部就會(huì)白成一片；如果照顧了亮部，暗部就漆黑無物。車載傳感器通過多重曝光技術(shù)，可在極短的時(shí)間內(nèi)捕捉不同亮度的圖像并進(jìn)行融合，確保在強(qiáng)光直射的情況下，系統(tǒng)依然能看清光暈背后的車牌，同時(shí)也能分辨出陰影里的行人。
不僅如此，車載攝像頭的光譜響應(yīng)范圍也比人眼更寬。有些傳感器可以感知到微弱的紅外線。在完全沒有路燈的荒野，雖然肉眼看過去是一片死黑，但攝像頭依然能捕捉到物體反射出的細(xì)微光信號。這些原始數(shù)據(jù)被送入專門的圖像信號處理器進(jìn)行降噪處理，把那些雜亂的噪點(diǎn)剔除，最終形成一張雖然色彩沒那么鮮艷、但輪廓和特征非常清晰的數(shù)字圖像。
神經(jīng)網(wǎng)絡(luò)如何在大腦中腦補(bǔ)畫面？
有了高質(zhì)量的畫面，接下來的核心挑戰(zhàn)在于如何看懂。在白天，路面特征明顯，AI識(shí)別車輛或車道線相對容易。但在夜晚，很多視覺特征會(huì)變得模糊甚至消失。這時(shí)，深度學(xué)習(xí)模型就發(fā)揮了巨大的作用。目前的算法不再是單純地尋找某個(gè)物體的邊緣，而是通過海量的數(shù)據(jù)訓(xùn)練，讓神經(jīng)網(wǎng)絡(luò)具備了極強(qiáng)的特征提取能力。哪怕只是一對模糊的尾燈，或者是一個(gè)在黑暗中晃動(dòng)的陰影，經(jīng)過大數(shù)據(jù)喂養(yǎng)出來的模型也能迅速判斷出那是一輛車還是一個(gè)推自行車的路人。
圖片源自：網(wǎng)絡(luò)
現(xiàn)在的算法還引入了時(shí)間維度的信息。純視覺系統(tǒng)并不是孤立地看每一張照片，而是把連續(xù)的視頻流作為輸入。如果前一秒系統(tǒng)在前方路口看到了一個(gè)行人，即使這一秒行人走到了沒有燈光的陰影里，算法也會(huì)根據(jù)他的運(yùn)動(dòng)矢量和歷史記錄，在系統(tǒng)的記憶中保留這個(gè)目標(biāo)。這種基于時(shí)間序列的感知方式，大大彌補(bǔ)了瞬時(shí)視覺信號在極端環(huán)境下的缺失，讓車輛對環(huán)境的理解更具連貫性。
這種理解不僅僅是識(shí)別，還包括對環(huán)境光影變化的適應(yīng)。算法會(huì)學(xué)習(xí)如何過濾路面反光、雨天積水的倒影以及復(fù)雜霓虹燈的干擾。通過不斷在大規(guī)模的夜間真實(shí)場景和仿真場景中迭代，神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)了在信噪比極低的情況下，依然能提取出最關(guān)鍵的駕駛信息。這就像一個(gè)經(jīng)驗(yàn)豐富的老司機(jī)，即使視線模糊，也能憑借經(jīng)驗(yàn)判斷出前方路面的坑洼和障礙物。
丟失的深度信息是如何找回來的？
純視覺方案經(jīng)常被質(zhì)疑的一點(diǎn)是，沒有激光雷達(dá)，如何在黑夜里判斷物體的距離？在白天，光照充足，畫面細(xì)節(jié)豐富，系統(tǒng)可以通過雙目視覺或單目測距算法獲得精確的深度。但在夜晚，畫面細(xì)節(jié)的丟失會(huì)讓深度估算變得困難。為了解決這個(gè)問題，目前的純視覺方案普遍轉(zhuǎn)向了BEV也就是鳥瞰圖視角。
圖片源自：網(wǎng)絡(luò)
在BEV框架下，系統(tǒng)會(huì)將多個(gè)攝像頭捕捉到的2D圖像實(shí)時(shí)轉(zhuǎn)換成3D空間信息。這一過程不再依賴簡單的幾何計(jì)算，而是通過Occupancy占用網(wǎng)絡(luò)等技術(shù)，將空間切分成一個(gè)個(gè)微小的方格。算法會(huì)判斷每一個(gè)方格是否被占據(jù)。即便攝像頭看不清物體的紋理，只要有一丁點(diǎn)光影的變化，系統(tǒng)就能感知到空間中存在一個(gè)體積塊。這種從識(shí)別物體到感知空間的轉(zhuǎn)變，讓純視覺系統(tǒng)在夜晚也具備了極強(qiáng)的空間建模能力。
為了進(jìn)一步提升精度，這些系統(tǒng)還會(huì)結(jié)合車輛自身的運(yùn)動(dòng)狀態(tài)。當(dāng)車輛行駛時(shí)，不同位置的攝像頭會(huì)從不同角度觀察同一個(gè)區(qū)域。通過這種多維度的交叉驗(yàn)證，系統(tǒng)可以像構(gòu)建3D地圖一樣，實(shí)時(shí)還原出車輛周圍的立體環(huán)境。這種方式不僅能測算出前車的距離，還能準(zhǔn)確判斷路邊馬路牙子的高度、垂下的樹枝位置以及復(fù)雜的施工圍擋。
最后的話
純視覺系統(tǒng)解決夜晚感知的邏輯，其實(shí)是硬件抓光能力、大數(shù)據(jù)訓(xùn)練出的理解力以及空間重構(gòu)能力的綜合體現(xiàn)。它不再是單純地模擬人眼，而是利用硅基芯片的計(jì)算優(yōu)勢和海量數(shù)據(jù)的記憶優(yōu)勢，在黑暗中構(gòu)建出一套比碳基生物更敏銳、更理性的感知邏輯。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
