汽車上實時顯示的動態小人/車涉及哪些技術？

[首發于智駕最前沿微信公眾號]不知道大家在駕駛或乘坐具備高階輔助駕駛能力的汽車里時，有沒有注意過儀表盤或中控屏出現的畫面，即使在視野不佳的夜晚，屏幕也能實時、精準地顯示出周圍的車輛、行人、路燈甚至是路邊的雪糕筒等交通參與者。這個被稱為SR（Surround Reality，感知環境渲染）的界面，實際上是汽車將自己眼中看到的物理世界，通過一系列復雜的數字化加工后，呈獻給駕駛員的數字孿生世界。

圖片源自：網絡

汽車如何從雜亂信號中識別物體？

想要讓屏幕上呈現出障礙物，第一步是要進行多源傳感器的原始數據采集。汽車周身的攝像頭、激光雷達和毫米波雷達在行駛中會產生海量信息。攝像頭捕捉的是像素點陣，其中包含豐富的顏色和紋理，但缺乏深度信息；激光雷達則射出數以百萬計的激光束，形成密集的點云圖，能夠精確勾勒物體的三維輪廓；毫米波雷達則對物體的速度極其敏感。

圖片源自：網絡

等傳感器采集到原始數據后，車載計算平臺上的深度神經網絡就會對這些數據進行特征提取。以攝像頭畫面為例，算法會通過卷積神經網絡識別出圖像中的邊緣、形狀和特征點，進而判斷出這對應的是一輛轎車、一輛卡車還是一個行人。對于激光雷達的點云，算法則會將散亂的點聚類成團，計算出物體的長寬高。現在的技術趨勢是采用BEV（鳥瞰圖）+Transformer模型，將不同視角的圖像直接轉化到三維空間中，形成一個以車輛為中心的上帝視角畫面。

在這個過程中，系統會為每一個識別出的障礙物打上標簽，并用3D檢測框將其包裹起來，這樣做可以確定物體的中心點坐標、尺寸以及頭部的朝向。這也是感知環境渲染界面顯示的基礎，因為屏幕上看到的每一個模型，本質上都是由3D檢測框參數支撐起來的。

怎樣保證物體在屏幕上平穩移動？

多源傳感器識別出的物體只是瞬間快照，要讓屏幕上的障礙物像真實世界一樣平滑移動，就需要引入多目標跟蹤技術。如果系統只是簡單地在每一幀畫面中尋找障礙物，由于傳感器的噪聲或遮擋，屏幕上的車輛可能會出現劇烈的閃爍或瞬間消失。為了解決這個問題，算法會給每一個檢測到的物體分配一個唯一的身份ID。

圖片源自：網絡

系統會根據物體在前一時刻的位置、速度和加速度，預測它在下一毫秒可能出現的位置。當新的一幀數據到來時，算法會將實測值與預測值進行匹配。如果兩者高度重合，系統就認為這是同一個物體，并更新它的運動軌跡。這種預測和糾偏的過程會采用卡爾曼濾波等數學模型，它能有效濾除傳感器產生的波動，使得屏幕上的小車跑起來絲滑自然，而不會出現斷斷續續的瞬移。

多傳感器融合技術在這里發揮了關鍵作用。如果攝像頭因為強光照射而暫時看不清前方的車輛，但激光雷達依然能感知到障礙物的存在，系統就會綜合兩者的信心分數，優先采用雷達的數據。這種互補機制確保了感知的連續性，避免了因為單一傳感器失效而導致屏幕上的障礙物突然丟失，從而增強駕駛員對系統的信任感。

虛擬世界是如何與現實位置對應的？

感知到的物體信息最初都存在于各自的各個坐標系中，而要將它們準確地擺放在屏幕上的道路里，需要進行復雜的空間坐標轉換。汽車底層的定位系統會利用慣性導航和衛星定位，實時確定自車在地理坐標系中的精確位置、航向角以及車身的姿態變化。這意味著當車輛經過顛簸路面產生顛簸時，系統需要實時補償這種晃動，否則屏幕上的世界也會跟著一起亂晃。

圖片源自：網絡

算法需要將所有障礙物從相對自車的坐標系轉化到統一的局部世界坐標系中。這個過程涉及平移和旋轉等大量的矩陣運算，簡單理解這一過程，那就是系統需要知道前方一輛車在屏幕地圖上具體的經緯度（參數丨圖片）或網格位置。同時，系統還會結合車端實時生成的在線高精地圖，將車道線、路沿和交通燈的語義信息疊加在一起。這樣，障礙物就不再是懸浮在虛空中的方塊，而是可以準確地行駛在對應的車道線上。

為了讓顯示更加直觀，系統還會對周圍環境進行語義理解。它能分辨出右側是一排停著的靜態車輛，還是正在緩慢移動的自行車，這種理解能夠幫助系統決定在屏幕上使用哪種類型的圖標或模型。所有這些邏輯運算都在極短的毫秒級周期內完成，確保物理世界的變動能幾乎同步地映射到數字界面中。

屏幕上畫面是如何生成的？

當后臺處理好了所有的邏輯數據，最后要做的就是將其轉化為我們在屏幕上看到的畫面。這一過程被稱為渲染，需要由高性能的圖形處理器（GPU）配合專門的圖形引擎來完成。因為視頻會包含大量的視覺干擾，且無法實現視角的自由切換，系統并不會直接播放攝像頭拍到的真實視頻，而是會從預設的模型庫中調用3D模型來代表真實物體。

圖片源自：網絡

渲染引擎接收到感知層傳來的如ID為001的物體是一輛白色轎車，位置坐標為X，朝向角為Y的數據指令后，引擎會在虛擬空間中對應的位置放置該模型。為了讓畫面更有質感，還會加入光影效果、抗鋸齒處理以及平滑的動畫過渡。當檢測到目標車輛踩下剎車時，感知系統識別到紅光信號，渲染引擎會瞬間點亮屏幕上3D模型的尾燈，這種細節的同步對于提升用戶的駕駛感知非常重要。

像是自車模型、周圍障礙物、半透明的車道線以及遠處的建筑等所有的圖形元素都會被合成并輸出到顯示屏上。為了保證流暢度，整個鏈路的延遲必須控制在極低的范圍內。如果延遲過高，駕駛員就會發現窗外的車已經超過去了，但屏幕上的車還沒動，這種延遲會帶來嚴重的不安全感。因此，高效的數據傳輸協議和優化的渲染管線是實現實時SR界面的技術重點。