拋去車主梗，理想汽車的智駕技術(shù)怎么樣？

[首發(fā)于智駕最前沿微信公眾號(hào)]現(xiàn)在在網(wǎng)上搜索理想汽車，鋪天蓋地地會(huì)出現(xiàn)很多車主梗的視頻，很多人看到只是圖一樂(lè)，但拋開(kāi)這些段子回歸到技術(shù)本身，可以看到，2026年3月，理想汽車在英偉達(dá)GTC大會(huì)上發(fā)布了下一代自動(dòng)駕駛基礎(chǔ)模型MindVLA-o1；不久后，全新旗艦車型L9 Livis亮相，帶來(lái)了自研的馬赫M100芯片、馬赫VLA 2.1系統(tǒng)以及全線控底盤。那理想的智駕到底怎么樣？

MindVLA-o1為什么不是傳統(tǒng)VLA？

想理解MindVLA-o1，需要先知道它能解決什么問(wèn)題，2024年理想做了端到端加視覺(jué)語(yǔ)言模型的雙系統(tǒng)架構(gòu)，2025年又推出了將空間理解、語(yǔ)言理解和動(dòng)作決策合在一起的VLA司機(jī)大模型。但行業(yè)里的VLA方案有三個(gè)共同的痛點(diǎn)，一是3D空間理解與語(yǔ)義推理之間的對(duì)齊效率不理想，導(dǎo)致系統(tǒng)看懂了場(chǎng)景，但做出的駕駛動(dòng)作卻不對(duì)；二是視覺(jué)、語(yǔ)言、動(dòng)作之間的傳遞鏈路太長(zhǎng)，決策延遲明顯；三是長(zhǎng)尾場(chǎng)景的覆蓋不夠，單靠堆數(shù)據(jù)很難從根本上解決。

MindVLA-o1則針對(duì)這些問(wèn)題提出了一個(gè)新的解法，它的核心是一個(gè)原生多模態(tài)MoE（混合專家）Transformer，在模型設(shè)計(jì)之初就把視覺(jué)、語(yǔ)言和行動(dòng)統(tǒng)一到同一個(gè)表示空間中共同訓(xùn)練和對(duì)齊，而不是像傳統(tǒng)方案那樣分別訓(xùn)練三個(gè)模塊再拼到一起。這種原生的設(shè)計(jì)思路，使感知、思考和行為三個(gè)環(huán)節(jié)之間的信息傳遞效率更高，也減少了后期對(duì)齊造成的誤差。

圖片源自：網(wǎng)絡(luò)

在這個(gè)統(tǒng)一框架之上，理想圍繞3D空間理解、多模態(tài)思考、統(tǒng)一行為生成、閉環(huán)強(qiáng)化學(xué)習(xí)、軟硬件協(xié)同設(shè)計(jì)等5個(gè)維度做了具體的設(shè)計(jì)，下面帶大家逐一拆解下。

讓模型住進(jìn)三維世界，意味著什么？

過(guò)去自動(dòng)駕駛的視覺(jué)模型多以2D圖像為處理單元，BEV（鳥(niǎo)瞰視角）雖然能將多個(gè)攝像頭的畫(huà)面拼接成一張俯視圖，但本質(zhì)上是把三維世界拍扁了，高度信息丟失嚴(yán)重。OCC（占用網(wǎng)絡(luò)）能表達(dá)3D結(jié)構(gòu)，卻缺少語(yǔ)義信息，其可以知道那里有個(gè)東西，但不清楚到底是一輛車、一棵樹(shù)還是一堵墻。

MindVLA-o1的做法是用一個(gè)原生3D ViT（視覺(jué)Transformer）編碼器替代傳統(tǒng)2D方案，這個(gè)編碼器以高分辨率多視角視覺(jué)為核心，在編碼階段就直接對(duì)3D空間的幾何結(jié)構(gòu)和語(yǔ)義信息做統(tǒng)一理解，其中包括空間結(jié)構(gòu)、位置關(guān)系、物體類別和行為狀態(tài)等。同時(shí)，激光雷達(dá)點(diǎn)云的角色也發(fā)生了變化，它不再是獨(dú)立的感知主力，而是作為三維幾何參照，用來(lái)校準(zhǔn)模型對(duì)物理空間的感知精度。

圖片源自：網(wǎng)絡(luò)

這套方案還引入了前饋式3DGS表示，將場(chǎng)景拆分為靜態(tài)環(huán)境和動(dòng)態(tài)物體分別建模，用預(yù)測(cè)下一幀-作為自監(jiān)督信號(hào)，讓模型同時(shí)學(xué)習(xí)深度、語(yǔ)義和物體運(yùn)動(dòng)，整個(gè)模型可以穩(wěn)定感知并推理到500米以上的空間范圍。

引入3D ViT之后，導(dǎo)航目標(biāo)從2D地圖坐標(biāo)變成了3D空間里的鳥(niǎo)瞰點(diǎn)，與模型的感知結(jié)果在同一個(gè)三維空間中交互。這讓系統(tǒng)在窄路通行、三點(diǎn)式掉頭這類需要精細(xì)空間理解的場(chǎng)景中表現(xiàn)更好，也從根本上解決了傳統(tǒng)方案2D感知向3D控制映射時(shí)信息丟失的問(wèn)題。

系統(tǒng)如何預(yù)演幾秒后的場(chǎng)景？

智駕系統(tǒng)如果只是理解了當(dāng)前的三維環(huán)境，是遠(yuǎn)遠(yuǎn)不夠的，自動(dòng)駕駛真正困難的地方在于判斷接下來(lái)會(huì)發(fā)生什么（旁邊車的并線意圖、前方行人的動(dòng)作傾向、綠燈還剩幾秒夠不夠通過(guò)），這些都需要對(duì)未來(lái)做推演。

MindVLA-o1在這一點(diǎn)上引入了預(yù)測(cè)式隱世界模型。通俗地說(shuō)，它在模型內(nèi)部構(gòu)建了一個(gè)隱空間，先把當(dāng)前場(chǎng)景轉(zhuǎn)化為隱空間中的表達(dá)，然后在這個(gè)空間中直接推演未來(lái)幾秒的場(chǎng)景演化。因?yàn)椴恍枰烧鎸?shí)的像素畫(huà)面，而是在隱空間中完成推演，所以計(jì)算效率比直接生成未來(lái)圖像高得多。模型可以在隱空間中提前想象未來(lái)畫(huà)面，并基于想象結(jié)果來(lái)做邏輯判斷和駕駛決策，理想把這種能力稱為多模態(tài)思考。

圖片源自：網(wǎng)絡(luò)

這套隱世界模型的訓(xùn)練分三個(gè)階段，先用海量視頻數(shù)據(jù)預(yù)訓(xùn)練隱世界詞元，構(gòu)建未來(lái)的表征能力；再在MindVLA-o1中持續(xù)進(jìn)行世界模型的推演，形成隱空間的未來(lái)推理能力；最后將世界模型、多模態(tài)推理和駕駛行為進(jìn)行聯(lián)合訓(xùn)練和對(duì)齊。通過(guò)這種階段式的訓(xùn)練策略，模型對(duì)動(dòng)態(tài)場(chǎng)景的預(yù)判能力將逐步建立，而不只是一步到位地?cái)M合數(shù)據(jù)。

駕駛軌跡怎樣從一個(gè)統(tǒng)一框架中生成？

當(dāng)模型完成了空間理解和未來(lái)推演之后，下一步就是把決策轉(zhuǎn)化為具體的駕駛軌跡，MindVLA-o1在行為生成上做了三層設(shè)計(jì)。

圖片源自：網(wǎng)絡(luò)

第一層是VLA-MoE架構(gòu)中的Action Expert，即動(dòng)作專家。它是一個(gè)專門負(fù)責(zé)軌跡生成的專家模塊，從3D場(chǎng)景特征、導(dǎo)航目標(biāo)和駕駛指令等多維輸入中提取信息，結(jié)合前面的多模態(tài)思考結(jié)果，生成高精度駕駛軌跡。

第二層是并行解碼。傳統(tǒng)方案逐幀生成軌跡點(diǎn)，延遲較高，MindVLA-o1采用一次并行生成所有軌跡點(diǎn)的方式，大幅提升了長(zhǎng)序列軌跡預(yù)測(cè)的效率，滿足實(shí)時(shí)駕駛的需求。

第三層是軌跡優(yōu)化。生成原始軌跡后，系統(tǒng)引入離散擴(kuò)散機(jī)制進(jìn)行多輪迭代優(yōu)化，類似去噪過(guò)程，確保最終的軌跡在空間上連續(xù)、在時(shí)間上穩(wěn)定，并且符合車輛的動(dòng)力學(xué)約束（不能出現(xiàn)車輛實(shí)際無(wú)法執(zhí)行的急轉(zhuǎn)或急剎）。

這三層設(shè)計(jì)使得駕駛行為從一個(gè)統(tǒng)一的框架中平滑產(chǎn)出，而不是靠人工規(guī)則來(lái)修補(bǔ)。

芯片和底盤，讓模型跑起來(lái)的硬件基礎(chǔ)

模型再先進(jìn)，最終還是要部署到車上，這里涉及計(jì)算芯片和執(zhí)行機(jī)構(gòu)這兩個(gè)方面的硬件支撐。

理想在2026年5月正式發(fā)布了自研的馬赫M100芯片，這是一款車規(guī)級(jí)AI推理芯片，采用5nm工藝，單顆算力1280 TOPS。它采用了一種不同于傳統(tǒng)GPU的架構(gòu)，即動(dòng)態(tài)數(shù)據(jù)流架構(gòu)。傳統(tǒng)GPU基于馮·諾依曼架構(gòu)，計(jì)算和數(shù)據(jù)搬運(yùn)是分離的，AI推理時(shí)大量功耗和延遲都浪費(fèi)在數(shù)據(jù)搬運(yùn)上。而動(dòng)態(tài)數(shù)據(jù)流架構(gòu)可以按數(shù)據(jù)流動(dòng)路徑直接組織計(jì)算，能夠繞開(kāi)這個(gè)瓶頸。

圖片源自：網(wǎng)絡(luò)

在運(yùn)行VLA大模型時(shí)，馬赫M100的有效算力據(jù)稱是英偉達(dá)Thor-U的3倍，同功耗下推理延遲降低35%，能耗減少40%，端到端延遲整體下降40%，車輛反應(yīng)速度比人類快一倍。這組數(shù)據(jù)背后其實(shí)還涉及到軟硬件協(xié)同設(shè)計(jì)的策略，理想不是先做模型再找芯片適配，而是在研發(fā)階段就評(píng)估了近2000種模型架構(gòu)配置，讓模型結(jié)構(gòu)和芯片的計(jì)算、內(nèi)存特性聯(lián)合優(yōu)化，把原本需要數(shù)月的架構(gòu)篩選壓縮到幾天內(nèi)完成。L9 Livis就搭載了兩顆馬赫M100，總算力可以達(dá)到2560 TOPS。

硬件層的另一個(gè)重要部分是全線控底盤，它由線控轉(zhuǎn)向、線控機(jī)械制動(dòng)和后輪轉(zhuǎn)向三套系統(tǒng)組成，全部通過(guò)電信號(hào)控制，替代了傳統(tǒng)的機(jī)械連接。對(duì)自動(dòng)駕駛而言，線控底盤的電子信號(hào)傳遞遠(yuǎn)快于機(jī)械結(jié)構(gòu)，整車控制系統(tǒng)可以實(shí)現(xiàn)全鏈路毫秒級(jí)響應(yīng)。這種毫秒級(jí)的控制能力，是高級(jí)別自動(dòng)駕駛對(duì)車輛執(zhí)行層的適配要求。理想也曾明確表示，線控底盤是面向L3和L4自動(dòng)駕駛做的提前布局，如果沒(méi)有比人類駕駛員快50%以上的響應(yīng)速度，高級(jí)別自動(dòng)駕駛的安全接管就無(wú)從談起。

配合L9 Livis，理想一同推出的還有馬赫VLA 2.1系統(tǒng)，它是MindVLA-o1模型的車端落地版本。在雙馬赫M100芯片和3D ViT感知模型的加持下，馬赫VLA 2.1的多模態(tài)計(jì)算量提升了10倍，可視距離提升50%，在風(fēng)險(xiǎn)預(yù)判和意圖理解方面有顯著增強(qiáng)。

最后的話

從MindVLA-o1到馬赫M100芯片，再到線控底盤和馬赫VLA 2.1，理想搭建的是一套縱向打通的系統(tǒng)，基礎(chǔ)模型負(fù)責(zé)理解世界和做決策，自研芯片負(fù)責(zé)讓大模型在車上高效運(yùn)行，線控底盤負(fù)責(zé)把數(shù)字決策快速、精準(zhǔn)地變成物理動(dòng)作。三者缺一不可，少了任何一個(gè)環(huán)節(jié)，整套系統(tǒng)的上限都會(huì)被拉低。這也解釋了理想為什么要在模型、芯片和底盤三條線上同時(shí)投入，它的目標(biāo)不是只做一套輔助駕駛功能，而是構(gòu)建一個(gè)能在物理世界中完整閉環(huán)的AI系統(tǒng)。