怎么將自動駕駛場景理解能力從二維提升到三維？

[首發于智駕最前沿微信公眾號]自動駕駛的核心任務就是賦予機器像人類一樣觀察、思考并操作車輛的能力。在整個技術架構中，感知與場景理解處于最前端，是后續所有決策與執行邏輯的根基。

如果將自動駕駛車輛比作一個生物體，傳感器就像是分布在全身的神經末梢，而場景理解能力則是大腦對這些神經沖動進行的深度加工。這種加工不僅要求車輛能夠看清周圍有什么，更要求其理解這些物體之間的空間關系、語義屬性以及未來可能發生的行為趨勢。

隨著技術的不斷更迭，自動駕駛的場景理解已經從單純的二維圖像識別，演進到了三維空間重構，乃至具備常識推理能力的認知階段。

從多維度感知到時空對齊

在探討算法模型之前，必須理解自動駕駛獲取信息的硬件基礎。單一傳感器由于物理特性的限制，無法應對所有的天氣和光照條件。

攝像頭能夠提供豐富的顏色和紋理信息，但在強光直射、黑夜或大霧天氣的表現會大打折扣；激光雷達能夠輸出高精度的三維點云數據，清晰地勾勒出障礙物的輪廓，卻難以識別交通燈的顏色或路牌上的文字；毫米波雷達在惡劣天氣下極具穿透力，且對動態物體的速度感知敏銳，但其空間分辨率較低，難以分辨靜止物體的細節。

因此，多傳感器融合技術成為了場景理解的第一道技術關卡。

多傳感器融合不是簡單的信息相加，其核心在于如何解決不同傳感器在時間和空間上的不一致性。

在空間層面，每個傳感器都有自己的坐標系，攝像頭看到的是像素坐標，激光雷達看到的是極坐標或笛卡爾坐標，系統必須通過極其精準的外參標定，將所有數據統一到一個固定的車輛世界坐標系中。

在時間層面，不同傳感器的采樣頻率各異，且由于車輛在高速運動，即便只差了幾十毫秒，物體在現實空間中的位置也會發生顯著變化。

圖片源自：網絡

為了解決這一問題，系統會采用運動補償技術，根據車輛的運動狀態對不同時刻的數據進行對齊，確保所有信息反映的是同一個物理時刻的環境狀態。

根據數據融合發生的階段不同，行業內會將其劃分為前融合、深度融合與后融合。

前融合是在原始數據層面上進行整合，盡可能保留最底層的信息，但其對算力和帶寬的要求極高。

深度融合則是在神經網絡的特征提取階段進行，將不同模態的特征向量在特征空間中進行連接或加權，這種方式能夠實現信息的互補，提高系統的魯棒性。

后融合則是各個傳感器獨立得出檢測結果后再進行邏輯匯總，雖然架構簡單、靈活性高，但往往會因為單個傳感器的局限性而丟失關鍵的細節信息。

在城市道路環境中，實時精準地感知動態環境是車輛做出安全決策的前提。

感知系統的實現依賴于多個技術模塊的協同運作，其中包括傳感器數據采集、特征提取、數據融合以及語義分析等。

數據采集是起點，通過多種傳感器的協作，感知系統能夠覆蓋從遠距離到近距離的全方位感知需求。

隨后的特征提取則通過復雜的算法從原始數據中提取如檢測車輛邊界、分割行人輪廓以及識別道路標志等有價值的信息。

鳥瞰圖與占用網絡的架構革新

在解決了傳感器數據的統一問題后，下一步就是要解決如何從這些海量數據中提取有意義的地理結構。

傳統的感知方式主要是基于圖像層面的目標檢測，即在照片里畫框。然而，畫框的方式很難準確描述物體在三維空間中的真實姿態，尤其是在多相機視野重疊的區域，如何確保不同視角的圖像被拼接到正確的位置是一個巨大的挑戰。

鳥瞰圖（BEV）技術的出現，徹底改變了這一現狀。BEV感知方案通過融合多個攝像頭的視覺數據，將原本支離破碎的2D圖像直接投影到一個統一的3D鳥瞰視角下，從而生成全局的環境信息。

BEV技術的核心在于空間轉換。

系統首先利用深度學習網絡從每個攝像頭的原始圖像中提取特征。這些網絡會包含主干網絡用于提取特征，頸部網絡進行特征融合，以及頭部網絡生成檢測結果。

提取出的特征隨后通過一種類似于投影的數學機制，在三維空間中進行位置查詢。這個過程可以理解為，系統在車輛上方的天花板上安裝了一個虛擬攝像頭，通過算法計算出地面上每一個點在不同原始圖像中對應的像素，從而完成從二維平面到三維地理坐標的轉換。

圖片源自：網絡

這種技術能夠有效解決遮擋問題，因為即使某個物體在側邊攝像頭的畫面中被擋住了一半，只要其他攝像頭的視野能覆蓋該區域，系統就能在視圖中完整地還原其位置和軌跡。

但即便是BEV技術，在處理那些形狀不規則的物體時也會感到吃力。像是路邊斜出的樹枝、施工區域的圍擋或者是灑落在地面的貨物，這些物體很難用標準的立方體盒子來準確描述。

為了解決這類挑戰，占用網絡（Occupancy Network）應運而生。占用網絡不再試圖識別物體具體是什么，而是將車輛周圍的空間劃分成無數個極小的立方體網格，并預測每一個網格是否被占用，以及其運動狀態。

占用網絡將場景理解從分類任務提升到了空間幾何重構的層面。

它通過預測空間中每個點的占用概率，能夠識別出任何異形障礙物，哪怕系統從來沒有見過這種物體。這種不依賴預定義類別的特性，極大地增強了自動駕駛在復雜城市環境中的泛化能力。

為了提升計算效率，現階段的占用網絡結合了語義分割技術，在判斷空間是否被占用的同時，還能順便給出該區域的語義標簽，比如識別出這一片被占用的網格屬于植被，而那一片屬于路沿。

此外，這種三維空間的理解能力也為下游的路徑規劃提供了更可靠的依據。

傳統的感知結果如果只是二維的，規劃系統很難判斷車輛是否能從狹窄的縫隙中穿過。而有了體素化的空間表示，系統可以精確計算車輛輪廓與障礙物之間的物理距離，從而做出更細膩的駕駛動作。

為了應對各種極端天氣和光照條件的挑戰，感知系統在硬件設計和算法魯棒性方面也進行了多層優化，確保在復雜的駕駛場景中，系統能在極短的時間內處理大量數據，并給出準確的識別結果。

大模型如何賦予機器駕駛常識

盡管BEV和占用網絡已經讓自動駕駛車輛看清了物理世界，但在面對復雜的交通規則和充滿變數的社會互動時，車輛依然顯得非常機械。

舉個例子，當前方有一輛閃著紅燈的救護車時，人類駕駛員知道即便前方是紅燈也需要觀察路況并盡可能讓行；當看到路邊有蹣跚學步的小孩時，人類會預判小孩可能會突然跑上公路。

這些基于常識的邏輯推理，是傳統基于規則的算法難以完全覆蓋的。近年來，以大語言模型和視覺語言模型為核心的基礎模型開始被引入自動駕駛領域，旨在解決這種深層次的語義理解和推理問題。

基礎模型在自動駕駛中的核心在于其擁有的世界知識。

圖片源自：網絡

這些模型在海量文本和圖像數據中學習到了人類社會的運行規律，能夠理解復雜的因果關系。例如，在面對一個施工區域時，大模型不僅能識別出錐桶和圍擋，還能結合當前的交通流和路標文字，推理出最佳的繞行方案。

相比于傳統的基于邏輯樹的決策方式，這種基于模型的方法在處理未曾見過的特殊場景時表現出極強的泛化能力。它將感知的范疇從識別幾何形體擴展到了理解場景意圖。

在具體的實現邏輯上，這些模型采用多模態架構，將視覺傳感器的特征信息轉化為文本描述或高維向量，與預訓練的知識庫進行交互。通過這種方式，自動駕駛系統能夠實現一種類似于人類思維的邏輯鏈條。

若車輛感知到前方車輛尾燈閃爍，然后結合當前路口特征和車道拓撲關系，就可以推理出該車可能由于故障?？炕驕蕚渚o急并線，最后做出減速并保持距離的決策。

這種推理過程不再是單純的概率計算，而是具備了一定程度的可解釋性，讓人們可以理解車輛為什么在特定時刻做出了特定的選擇。

基礎模型還在場景生成和系統評測中發揮著重要作用。

通過大規模生成如夜間逆行的非機動車、雨天反光的積水坑等稀有的極端場景，這些模型能夠為自動駕駛系統的訓練提供高質量、多維度的模擬數據，從而加速感知的迭代優化。

這種從真實數據中提煉知識，再通過模擬數據反哺系統的閉環，正成為提升自動駕駛場景理解能力的重要路徑。

為了在真實城市交通中實現安全行駛，系統還會采用多準則決策方法來平衡安全性、舒適性和效率等多個目標，確保車輛能夠自然地融入交通生態。

最后的話

自動駕駛場景理解是一場從物理探測到數學重構，再到思維推理的演進過程。從多傳感器融合奠定的數據基石，到鳥瞰圖與占用網絡構建的立體視野，再到基礎模型賦予的智慧大腦，每一項技術的突破都在填補機器與人類駕駛員之間的能力鴻溝。

在這個過程中，場景理解已經不再僅僅是看見，而是演變成了對物理世界規律的洞察。隨著算力的持續提升和算法模型的不斷迭代，全場景、高可靠的語義理解終將實現，并為自動駕駛的安全落地提供最堅實的保障。