理想發(fā)布MindVLA-o1：一個(gè)模型，如何真正理解3D世界？

文/熊逾格

編輯/子夜

3月17日，NVIDIA GTC 2026大會(huì)，理想汽車基座模型負(fù)責(zé)人詹錕發(fā)表演講，發(fā)布了下一代自動(dòng)駕駛基礎(chǔ)模型MindVLA-o1。

18日，理想汽車董事長兼CEO李想在B站發(fā)布了其與基座模型負(fù)責(zé)人詹錕的對(duì)話，對(duì)MindVLA-o1進(jìn)行了進(jìn)一步的解讀。

這是一個(gè)將視覺、語言與行動(dòng)統(tǒng)一進(jìn)同一架構(gòu)的原生多模態(tài)模型，采用多模態(tài)MoE Transformer架構(gòu)，融合3D視覺編碼、世界模型與推理能力。

理想給出MindVLA-o1的能力：讓自動(dòng)駕駛看得更遠(yuǎn)、想得更深、行得更穩(wěn)、進(jìn)化更快、部署更高效。

作為一個(gè)VLA（Vision-Language-Action Model）模型，MindVLA-o1帶來的想象空間格外大。

“當(dāng)視覺、語言和行動(dòng)統(tǒng)一到一個(gè)模型中時(shí)，它不再只是自動(dòng)駕駛模型，而是在逐漸演化為面向物理世界的通用智能體。基于同一套VLA模型，不僅可以控制車輛，也能夠擴(kuò)展到機(jī)器人。”詹錕在GTC上總結(jié)。

聚光燈下，理想朝著具身智能企業(yè)又邁進(jìn)了一步。

1、感知、思考與行為，通往物理AI的三把鑰匙

要理解MindVLA-o1，需要先理解當(dāng)下自動(dòng)駕駛主流技術(shù)的問題。

最初，智駕技術(shù)的邏輯相當(dāng)“樸素”。工程師給駕駛系統(tǒng)寫清楚規(guī)則，遇到不同的路況執(zhí)行不同規(guī)則，再配上一張把每條路都畫清楚的高精地圖——但規(guī)則無窮無盡，永遠(yuǎn)會(huì)有下一個(gè)“例外”。

2021年前后，自動(dòng)駕駛行業(yè)第一場技術(shù)轉(zhuǎn)型開始：工程師直接把大量人類駕駛數(shù)據(jù)喂給模型，讓模型自己學(xué)習(xí)。端到端模型輸入視覺信號(hào)，輸出實(shí)際操作，直接學(xué)習(xí)人類駕駛行為。

這恰好也符合行業(yè)的直覺，越多的駕駛數(shù)據(jù)，效果越好，數(shù)據(jù)價(jià)值得到強(qiáng)調(diào)。

正是從這一年，理想開始自研輔助駕駛，并在2024年轉(zhuǎn)向端到端模型，但這條路走到2025年，理想發(fā)現(xiàn)，當(dāng)訓(xùn)練數(shù)據(jù)到達(dá)更大規(guī)模，天花板逐漸浮現(xiàn)。

理想透露，當(dāng)訓(xùn)練數(shù)據(jù)積累到1000萬條Clips之后，公司研發(fā)團(tuán)隊(duì)等了5個(gè)月，模型平均接管里程只增長了2倍左右，遠(yuǎn)低于預(yù)期。

李想曾對(duì)端到端模型打了個(gè)不客氣的比喻：“猴子開車”——端到端的本質(zhì)是模仿學(xué)習(xí)，模型能學(xué)會(huì)開車的動(dòng)作，但永遠(yuǎn)不理解物理世界。

沒有因果推理，模型無法理解違反常理的行為；沒有深度思考，只憑模式匹配無法進(jìn)行復(fù)雜決策；安全意識(shí)不足，遇到復(fù)雜場景無法進(jìn)行預(yù)防性判斷。

“今天無論是具身的AI在工作，在訓(xùn)練，都是看著2D視頻。但這并不是人類在物理世界真正的工作方式。”李想解釋，“大部分搞模型的，都想直接做成年以后要做的事，拼命訓(xùn)練。但0-6歲孩子最重要的訓(xùn)練空間、訓(xùn)練能力，根本沒解決。”

人類在童年建立起對(duì)世界認(rèn)知，在三維空間跌倒再爬起，通過真實(shí)的感知和反饋，校準(zhǔn)對(duì)距離和速度的判斷。而AI跳過了這個(gè)階段，無論如何學(xué)不會(huì)理解“開車”。

這是VLA出現(xiàn)的背景。感知、思考與行為，從架構(gòu)設(shè)計(jì)之初，三種模態(tài)就被放入同一表示空間中進(jìn)行統(tǒng)一訓(xùn)練。

2025年8月，理想隨理想i8交付推出全球首個(gè)量產(chǎn)上車的VLA司機(jī)大模型。而MindVLA-o1是在其基礎(chǔ)上的最新成果。

MindVLA-o1核心設(shè)計(jì) ，圖源GTC演講

這一次更新，整個(gè)架構(gòu)基于MoE（混合專家架構(gòu)），在擴(kuò)大模型容量的同時(shí)控制激活參數(shù)規(guī)模，被重新設(shè)計(jì)為三層：

首先是感知層。

理想設(shè)計(jì)了自監(jiān)督的3D ViT（3D Vision Transformer，三維視覺轉(zhuǎn)換器）視覺編碼器。訓(xùn)練時(shí)同時(shí)引入視覺與LiDAR（激光探測與測距）兩路數(shù)據(jù)——前者提供豐富的語義信息，后者提供準(zhǔn)確的三維幾何結(jié)構(gòu)，讓模型在同一表示空間中同時(shí)學(xué)習(xí)幾何與語義。

自監(jiān)督3D視覺編碼器架構(gòu)，圖源GTC演講

為進(jìn)一步提升場景理解能力，訓(xùn)練中還引入了前饋式3DGS（3D Gaussian Splatting，三維高斯?jié)姙R）場景表示：系統(tǒng)將場景分解為靜態(tài)環(huán)境與動(dòng)態(tài)物體分別建模，以“下一狀態(tài)預(yù)測”作為自監(jiān)督信號(hào)，驅(qū)動(dòng)模型同時(shí)學(xué)習(xí)深度信息、語義結(jié)構(gòu)與物體運(yùn)動(dòng)。

最終得到的3D ViT表示融合了空間結(jié)構(gòu)與時(shí)間上下文信息，為后續(xù)的思考與行動(dòng)層提供高質(zhì)量的三維世界表示。

針對(duì)3D感知，訓(xùn)練數(shù)據(jù)配比也完成重構(gòu)，大量融入3D數(shù)據(jù)和自動(dòng)駕駛圖文數(shù)據(jù)，主動(dòng)壓縮文史類數(shù)據(jù)比例，并加入未來幀預(yù)測生成和稠密深度預(yù)測任務(wù)，專門激發(fā)模型對(duì)3D空間的理解與推理能力。

其次是思考層。

思考層由三個(gè)相互配合的機(jī)制構(gòu)成：顯式推理、未來預(yù)測和快慢思考協(xié)同。

語言模型引入了 System-2式（慢思考系統(tǒng)）的顯式推理機(jī)制——區(qū)別于直覺式的快速反應(yīng)，模型能在復(fù)雜場景中進(jìn)行更深入的分析與決策。

在此基礎(chǔ)上，模型還內(nèi)嵌了Predictive Latent World Model（預(yù)測式隱世界模型），讓自動(dòng)駕駛不只理解“當(dāng)前發(fā)生了什么”，還能模擬“接下來會(huì)發(fā)生什么”。

由于直接生成未來圖像的計(jì)算成本過高，理想選擇在Latent Space（隱空間）中完成預(yù)測：系統(tǒng)首先將當(dāng)前視覺輸入編碼為一組Latent Tokens（隱變量令牌），作為場景的緊湊表示，再由世界模型基于這些令牌推演未來狀態(tài)。

預(yù)測式隱世界模型架構(gòu)，圖源GTC演講

這套世界模型經(jīng)歷了三階段訓(xùn)練：第一階段用海量視頻打底，讓模型學(xué)會(huì)在隱空間里表征未來；第二階段在MindVLA-o1框架內(nèi)強(qiáng)化未來推演能力；第三階段則將世界模型、多模態(tài)推理與駕駛行為三者拉到同一目標(biāo)下聯(lián)合優(yōu)化。

快慢思考機(jī)制也被整合進(jìn)同一模型：簡單場景下，模型直接輸出Action Token（動(dòng)作令牌），不走推理鏈；復(fù)雜場景下，先經(jīng)過一段固定簡短的CoT（思維鏈）模板，再輸出動(dòng)作。

在效率設(shè)計(jì)上，針對(duì)思維鏈采用小詞表加投機(jī)推理大幅提速；動(dòng)作令牌在同一Transformer內(nèi)以雙向注意力機(jī)制一次性并行輸出，思維鏈推理則在因果注意力機(jī)制下逐字解碼，兩者并存于同一模型中。

最后是行動(dòng)層。

行動(dòng)層采用三層遞進(jìn)設(shè)計(jì)：Action Expert（動(dòng)作專家模塊）負(fù)責(zé)生成軌跡，Parallel Decoding（并行解碼）保證輸出速度，Discrete Diffusion Refinement（離散擴(kuò)散優(yōu)化）負(fù)責(zé)精修質(zhì)量。

統(tǒng)一行為生成架構(gòu)，圖源GTC演講

具體來看，Action Expert從3D場景特征、導(dǎo)航目標(biāo)、駕駛指令中提取關(guān)鍵信息，結(jié)合多模態(tài)推理生成初始駕駛軌跡。軌跡生成后，Parallel Decoding讓所有軌跡點(diǎn)同時(shí)輸出，而非逐點(diǎn)生成，在長序列軌跡預(yù)測場景中，效率優(yōu)勢尤為突出。

Discrete Diffusion Refinement隨后對(duì)并行生成的軌跡進(jìn)行多輪迭代優(yōu)化，類似逐步去噪，最終使軌跡在空間上連續(xù)、時(shí)間上穩(wěn)定，并滿足車輛動(dòng)力學(xué)約束——整個(gè)Diffusion（擴(kuò)散）過程通過ODE（常微分方程）采樣器壓縮至2-3步完成。

Diffusion模型還同時(shí)預(yù)測自車與周圍車輛、行人的軌跡，通過聯(lián)合建模提升復(fù)雜交通場景中的博弈能力。對(duì)于仍存在偏差的長尾工況，則通過RLHF（基于人類反饋的強(qiáng)化學(xué)習(xí)）加以修正：篩選大量接管數(shù)據(jù)建立人類偏好數(shù)據(jù)集，微調(diào)模型的采樣過程，使其逐步對(duì)齊人類駕駛行為，安全下限隨偏好數(shù)據(jù)的積累持續(xù)提升。

從看得到，到想得到，再到做得到，這是一場從感知層開始的重建，最終落地于行動(dòng)層的執(zhí)行，形成一個(gè)完整的閉環(huán)。但對(duì)于實(shí)際應(yīng)用來說，這還遠(yuǎn)遠(yuǎn)不是終點(diǎn)。

2、從學(xué)術(shù)到落地，理想如何跑通？

一套方案能夠在實(shí)驗(yàn)室里跑通，和能裝進(jìn)量產(chǎn)車?yán)锫涞兀莾杉耆煌氖隆?/p>

MindVLA-o1面對(duì)的第一個(gè)挑戰(zhàn)，是難以避免的算力難題。

模型搭載的3D ViT編碼器，復(fù)雜度遠(yuǎn)遠(yuǎn)超過主流的“2D方案”，對(duì)端側(cè)算力提出更高的要求。

李想與詹錕談?wù)擇R赫100芯片，圖源GTC演講

理想的解法是一顆自研芯片“馬赫100”。

它是中國首個(gè)采用數(shù)據(jù)流原生架構(gòu)的車規(guī)級(jí)5納米芯片，天然適配AI推理計(jì)算。在標(biāo)準(zhǔn)的大規(guī)模矩陣乘計(jì)算任務(wù)上，馬赫100性能較上一代提升約3倍；兩顆馬赫100實(shí)際運(yùn)行VLA大模型時(shí)的有效算力，是英偉達(dá)Thor-U的5到6倍。

在馬赫100上，理想成功部署參數(shù)規(guī)模達(dá)上一代6倍、計(jì)算量提升10倍的VLA模型，實(shí)現(xiàn)運(yùn)行幀率更高，推理速度更快，從傳感器輸入到車輛執(zhí)行輸出，整體延時(shí)僅200到300毫秒。

此外，馬赫100還取消了上一代XCU控制器，聯(lián)合星環(huán)OS整合替代，單顆BOM成本大幅低于外購方案。

解決了算力難題，訓(xùn)練成本問題成了第二個(gè)“攔路虎”。

3D ViT要大規(guī)模預(yù)訓(xùn)練，強(qiáng)化學(xué)習(xí)要在仿真環(huán)境里反復(fù)迭代。傳統(tǒng)的逐步優(yōu)化式重建太慢，無法支撐大規(guī)模并行訓(xùn)練。

為此，理想與NVIDIA團(tuán)隊(duì)共建了3D Gaussian Splatting渲染引擎及分布式訓(xùn)練框架，渲染速度提升近2倍，整體訓(xùn)練成本降低約75%。

在這個(gè)過程中，理想的世界模擬器也升級(jí)為前饋式場景重建，可以瞬時(shí)生成大規(guī)模高保真駕駛場景，模擬環(huán)境還能擴(kuò)展、編輯和生成新場景，不只是復(fù)現(xiàn)真實(shí)世界。

最后的難題，落在車端的部署。

高精度的模型跑不進(jìn)車端，能跑進(jìn)去的精度又不夠。為了讓模型匹配車端，傳統(tǒng)做法是大量實(shí)驗(yàn)反復(fù)調(diào)整模型結(jié)構(gòu)，但這通常需要數(shù)月時(shí)間。

為了達(dá)到更高的效率，理想一方面在模型上通過Sparse Attention（稀疏注意力）機(jī)制，進(jìn)一步提升稀疏化率，保障端側(cè)實(shí)時(shí)推理效率。

另一方面提出了軟硬件協(xié)同設(shè)計(jì)定律：

結(jié)合Roofline模型刻畫硬件計(jì)算能力和內(nèi)存帶寬的限制，在模型性能與硬件約束之間建立統(tǒng)一的分析框架，在約2000種架構(gòu)配置里尋找精度與推理延遲的最優(yōu)解。

經(jīng)過實(shí)驗(yàn)得出的最終結(jié)論相當(dāng)“反直覺”：算力受限的條件下，“更寬更淺”的模型比“更深”的模型更高效。

憑借這一成果，理想將架構(gòu)探索時(shí)間從數(shù)月縮短至幾天。

三道大山一一翻過去，VLA模型帶來的變化肉眼可見。

例如，今年1月理想更新的OTA 8.2車機(jī)系統(tǒng)，在世界模型中加入了毫秒級(jí)方向盤和電門動(dòng)作數(shù)據(jù)，讓VLA進(jìn)行行為強(qiáng)化學(xué)習(xí)——橫縱向控制不再機(jī)械跟隨預(yù)設(shè)參數(shù)，基于對(duì)當(dāng)前場景的綜合理解動(dòng)態(tài)輸出。

在人車混行路段、小路通行、窄路會(huì)車等七個(gè)典型城區(qū)場景里，它的表現(xiàn)格外突出：例如，在人車混行路段，車輛實(shí)時(shí)預(yù)測行人和非機(jī)動(dòng)車的運(yùn)動(dòng)意圖，橫向避讓與縱向調(diào)速同步規(guī)劃；在小路通行時(shí)，加減速更細(xì)膩，動(dòng)靜態(tài)障礙物都能合理避讓；在窄路會(huì)車，車速和橫向位置自動(dòng)調(diào)整，縱向減速平穩(wěn)沒有頓挫。

MindVLA-o1模型通過自研語言指令理解環(huán)境語義，圖源GTC演講

在一般場景下，VLA能力也有更多變化。例如，語言指令可以直接改變駕駛行為，“開快點(diǎn)，我趕時(shí)間”這類說法，模型能夠理解并執(zhí)行了。

據(jù)理想透露，截至2025年底，VLA月使用率80%，VLA指令使用次數(shù)1225.4萬次。用戶最常用的三個(gè)指令是左右變道、直行、加減速。

最終，降本、加速、算力，三點(diǎn)合力使得MindVLA-o1模型具備量產(chǎn)條件，而不是停留在紙面。

3、結(jié)語

在GTC上，MindVLA-o1的一個(gè)演示片段，無關(guān)自動(dòng)駕駛，而是駕馭一條機(jī)械臂，輕輕拿起一瓶養(yǎng)樂多，倒進(jìn)桌上的杯子里。

MindVLA-o1模型的三個(gè)不同演示場景，圖源GTC演講

為什么一個(gè)為自動(dòng)駕駛設(shè)計(jì)的模型，能夠操作機(jī)械臂？

理想的解釋是，同一套VLA模型可以驅(qū)動(dòng)不同形態(tài)的物理智能體，自動(dòng)駕駛與機(jī)器人控制共用同一套模型與數(shù)據(jù)體系。不同執(zhí)行器，本質(zhì)上對(duì)這套模型來說卻是同一類問題——理解環(huán)境、推理意圖、生成動(dòng)作序列。

截至2025年11月，理想一共累計(jì)近15億公里的駕駛數(shù)據(jù)。

如果我們進(jìn)一步深思，就會(huì)發(fā)現(xiàn)這樣的邏輯：理想正在用大規(guī)模的駕駛數(shù)據(jù)，做通用物理AI的預(yù)訓(xùn)練。

短短數(shù)年，當(dāng)人們再次審視理想這家公司，不難發(fā)現(xiàn)它已經(jīng)在通往具身智能的路上走了相當(dāng)遠(yuǎn)。

2025年，理想研發(fā)投入113億元，AI相關(guān)占比50%；2026年1月，理想將研發(fā)團(tuán)隊(duì)按“造硅基人”的邏輯重構(gòu)為四大體系——臟器、腦、軟件、硬件；2026年Q2，馬赫100將完成量產(chǎn)上車。

“人工智能就是在造人。Agent是數(shù)字化的人，具身是物理化的人，只是它是硅基的人，不是我們碳基的。”李想稱，L4自動(dòng)駕駛的汽車，會(huì)是生活中一個(gè)最重要的硅基人。

他表示，未來3到5年中高端汽車的競爭，本質(zhì)上是具身智能的競爭。過去，從功能機(jī)到智能手機(jī)的演進(jìn)，來自芯片和操作系統(tǒng)的改變，而在具身智能時(shí)代，改變對(duì)應(yīng)的是芯片和模型的Co-Design。

這份認(rèn)知驅(qū)動(dòng)著理想，從2022年自研芯片，到2023年構(gòu)建基座模型，一步步將能力向底層收攏。

如今，理想已經(jīng)搭建起一套從算力、感知到?jīng)Q策的完整體系，其定位也從“造車公司”，轉(zhuǎn)向“以汽車為載體的物理AI公司”。汽車不再只是產(chǎn)品，而是規(guī)模化落地與持續(xù)訓(xùn)練的現(xiàn)實(shí)世界接口。

因此，MindVLA-o1的意義，遠(yuǎn)不止性能提升。它標(biāo)志著一種范式的轉(zhuǎn)變：模型開始真正進(jìn)入三維世界，從對(duì)輸入的被動(dòng)響應(yīng)，轉(zhuǎn)向?qū)Νh(huán)境的主動(dòng)建模與推演。

自動(dòng)駕駛的邊界正在變得模糊，跨越界線，理想的物理AI之路，或許才剛剛開始。

（本文頭圖來源于理想汽車官網(wǎng)。）