自動駕駛端到端時代，還會使用BEV和Transformer嗎？

[首發于智駕最前沿微信公眾號]在討論自動駕駛技術時，很多人容易產生一種誤解，認為端到端是一項孤立的新技術，會完全取代BEV（鳥瞰圖）或Transformer，也有小伙伴曾在后臺留言詢問端到端模型還會使用BEV+Transformer嗎？

事實上，端到端并不是要推翻現有的感知架構，而是將原本各司其職的模塊，通過一種更高效、更具邏輯性的方式融合在一個龐大的神經網絡里。BEV和Transformer依然是這套系統的眼睛和骨架，只是它們的工作方式發生了變革。

為什么空間感知依然是核心？

自動駕駛最基本的要求就是讓車輛知道自己在哪里，周圍有什么。雖然端到端模型可以直接輸出駕駛軌跡，但如果系統內部沒有建立起準確的空間模型，它給出的動作就會變得不可預測且缺乏邏輯。

BEV技術的核心價值在于它提供了一個統一的空間底座。它能將布置在車身四周的多個攝像頭采集到的圖像信息，實時投影到一個俯視的角度下。在這個角度里，物體之間的距離、車道的走向以及交叉口的布局，都變得和人類看地圖一樣直觀。

圖片源自：網絡

在目前的端到端方案中，BEV不再只是為了畫出漂亮的感知畫面供工程師查看。它的真實作用是作為特征容器。當多路攝像頭的數據涌入模型時，系統會在這個統一的空間平面內進行特征疊加。

這種做法解決了攝像頭視野重疊或遮擋的問題，讓模型在處理諸如大曲率彎道或復雜的城市路口時，能夠擁有一份連貫的空間記憶。如果缺少了這個空間視角，端到端模型就只能在混亂的像素中摸索，很難表現出穩定的駕駛決策能力。

Transformer是如何連接時空的？

如果說BEV是舞臺，那么Transformer就是舞臺上的總導演，負責決定哪些信息該被保留，哪些信息該被重點關注。在端到端模型內部，Transformer的注意力機制解決了感知中的一個痛點，如何把不同位置、不同時間的信息關聯起來。

圖片源自：網絡

通過這種機制，模型可以自主學習哪些畫面特征對當前的駕駛任務最重要。如在通過紅綠燈路口時，它會自動把權重分配給前方的信號燈和側方的行人，而不是路邊無關緊要的樹木。

更重要的是，現在的端到端模型非常依賴Transformer來處理時間序列。駕駛不是一個靜態的瞬間，而是一個連續的過程。Transformer能夠像人類的短期記憶一樣，把過去幾秒鐘的特征信息串聯起來。這讓模型具備了預測能力，即使遇到一個騎車人被路邊的公交車擋住了的場景，系統依然能通過之前的觀察記錄，推斷出這個人的大概位置和行進速度。這種對時空信息的深度整合，讓端到端模型在面對“鬼探頭”等極端場景時，反應比純粹的規則算法更加靈敏且自然。

神經網絡內部是怎么交流的？

傳統的自動駕駛架構像是一條流水線，感知算完了給預測，預測算完了給規控。每一道工序都會把數據翻譯成如目標物的坐標、速度數值等人類能讀懂的格式。但在端到端模型中，這種交流變得更加高效。BEV和Transformer生成的特征，直接以高維向量的形式傳給下游。這種方式最大的進步在于避免了信息折損。

圖片源自：網絡

以往如果我們把一個異形物體誤識別成了電線桿，后面的規劃模塊就可能因為這個錯誤的標簽而做出錯誤的規避。但在端到端系統里，即便模型叫不出那個物體的名字，它也能通過Transformer感知到那個位置的特征是不可通行的，從而直接計算出一條繞行的曲線。

這種從原始特征到駕駛行為的直接映射，省去了中間繁雜的人工規則定義，讓車輛在面對各種奇奇怪怪的路況時，表現得更像一個有經驗的老司機，而不是只會按說明書干活的機器人。

未來的模型還會怎么變？

雖然現在的端到端模型高度依賴BEV和Transformer，但這套組合也在不斷進化。目前的趨勢是讓模型具備更強的世界感，很多技術方案也正在嘗試引入Occupancy（占用網絡）的思想，讓模型不再關注具體的物體，而是關注空間中的每一個體積單位是否被占據。這種做法讓端到端模型在處理施工區域、散落物等不規則障礙物時，擁有了更高的魯棒性。

圖片源自：網絡

此外，隨著多模態大模型的普及，端到端架構也開始吸收語言和視覺大模型的經驗。未來的系統可能不僅能看到路，還能通過類似Transformer的架構去理解一些如識別出路邊交警的手勢、判斷出前方車輛突然減速的意圖等隱性的交通邏輯。

所以，BEV和Transformer并不會消失，它們反而在端到端的大趨勢下，從原本獨立的插件變成了系統神經網絡中不可分割的神經元，共同讓自動駕駛變得更加聰明。