ColaVLA：自動(dòng)駕駛大模型，不一定非要把「思考過(guò)程」寫(xiě)成文字

過(guò)去兩年，自動(dòng)駕駛和大模型的結(jié)合越來(lái)越熱。一個(gè)很自然的方向是：既然視覺(jué)語(yǔ)言模型已經(jīng)具備很強(qiáng)的場(chǎng)景理解和推理能力，那能不能讓它像人類司機(jī)一樣，先理解環(huán)境、再做判斷、最后輸出軌跡？

這條路線聽(tīng)起來(lái)很合理，但真正落到自動(dòng)駕駛上，很快就會(huì)遇到一個(gè)問(wèn)題：很多方法雖然引入了大模型，卻仍然把「推理」做成了文本鏈?zhǔn)酵评怼Ｒ簿褪钦f(shuō)，模型要先生成中間解釋，再把這些解釋一步步轉(zhuǎn)成動(dòng)作或軌跡。這樣做的優(yōu)點(diǎn)是看起來(lái) 「更會(huì)思考」，但代價(jià)也非常明顯：文本是離散 token，而軌跡是連續(xù)控制；文本推理還依賴自回歸解碼，速度慢、鏈路長(zhǎng)，不太適合實(shí)時(shí)駕駛。

來(lái)自清華大學(xué)與香港中文大學(xué) MMLab 的研究團(tuán)隊(duì)提出了全新的隱空間推理與層次化軌跡規(guī)劃的 VLA 框架 --ColaVLA，論文已經(jīng)被 CVPR2026 主會(huì)接收。

• 論文標(biāo)題：ColaVLA: Leveraging Cognitive Latent Reasoning for Hierarchical Parallel Trajectory Planning in Autonomous Driving
• 論文鏈接： https://arxiv.org/abs/2512.22939
• 代碼鏈接： https://github.com/pqh22/ColaVLA

這篇論文給出的答案很直接：自動(dòng)駕駛中的推理，不一定要寫(xiě)成文字。

與其讓模型「邊說(shuō)邊想」，不如讓它在統(tǒng)一潛空間里完成推理，再把結(jié)果直接交給動(dòng)作規(guī)劃器。這樣既能保留 VLM 的語(yǔ)義先驗(yàn)和知識(shí)能力，又能繞開(kāi)顯式文本生成帶來(lái)的延遲和表示錯(cuò)位。

整篇論文最重要的貢獻(xiàn)，其實(shí)可以概括成兩句話：第一，把推理從文本空間搬到潛空間；第二，把軌跡生成從串行過(guò)程改成分層并行過(guò)程。

一、核心思路：先「想清楚」，再「開(kāi)出來(lái)」

ColaVLA 的整體框架由兩個(gè)核心部分組成：

• Cognitive Latent Reasoner：負(fù)責(zé)完成高層駕駛認(rèn)知
• Hierarchical Parallel Planner：負(fù)責(zé)把高層策略展開(kāi)成連續(xù)軌跡

作者的目標(biāo)不是簡(jiǎn)單把一個(gè)大模型接到規(guī)劃器前面，而是重新定義「推理」和「動(dòng)作」之間的接口，讓二者真正對(duì)齊。

先看前半部分，也就是潛空間推理器。作者把它設(shè)計(jì)成一個(gè)很像人類司機(jī)的四步過(guò)程：

• Understand
• Recognize
• Rethink
• Decide

這四步看上去很直觀，但真正巧妙的地方在于，它們都不是通過(guò)自然語(yǔ)言完成的，而是在統(tǒng)一潛空間中隱式完成。

第一步 Understand，是先整體看懂場(chǎng)景。模型會(huì)把多視角視覺(jué)信息、固定駕駛提示和 ego 車狀態(tài)一起送入共享 VLM，先建立一個(gè)全局場(chǎng)景理解，而不是一上來(lái)就直接回歸軌跡。

第二步 Recognize，是從大量視覺(jué)信息里篩出真正和當(dāng)前駕駛動(dòng)作相關(guān)的關(guān)鍵實(shí)體。這里論文設(shè)計(jì)了一個(gè) ego-adaptive router，根據(jù)當(dāng)前自車狀態(tài)動(dòng)態(tài)選擇最重要的視覺(jué) token，保留的通常是車道、鄰近車輛、行人、交通燈這些安全關(guān)鍵線索，而不是無(wú)差別地處理整張圖。

第三步 Rethink，則是在壓縮后的關(guān)鍵信息上再做一次 “復(fù)核式推理”，并借助一組可學(xué)習(xí)的 meta-query 來(lái)表示不同高層駕駛策略。

最后一步 Decide，輸出的也不是一句解釋文本，而是一組面向動(dòng)作生成的高層駕駛先驗(yàn)。這樣一來(lái)，模型就不再需要把推理結(jié)果先翻譯成自然語(yǔ)言，再?gòu)恼Z(yǔ)言翻譯回動(dòng)作空間，而是直接完成從認(rèn)知到策略的內(nèi)部閉合。

二、真正落到動(dòng)作層面，它的規(guī)劃器為什么更合理？

很多自動(dòng)駕駛方法的問(wèn)題，不只是上游推理方式不合適，下游軌跡生成方式也未必真正符合駕駛動(dòng)作的結(jié)構(gòu)。有些方法一次性直接回歸整條軌跡，雖然簡(jiǎn)單，但缺少層次；有些方法依賴復(fù)雜生成過(guò)程，雖然表達(dá)能力強(qiáng)，但效率和部署穩(wěn)定性不一定理想。

ColaVLA 這里的思路很清晰：駕駛軌跡本來(lái)就是分層的，所以生成過(guò)程也應(yīng)該分層。

論文提出的Hierarchical Parallel Planner有三個(gè)關(guān)鍵詞：

• 先粗后細(xì)
• 保持因果
• 并行解碼

它不是把未來(lái)軌跡當(dāng)作一個(gè)扁平輸出，而是先確定粗粒度意圖，再逐步補(bǔ)足中間細(xì)節(jié)。這更像真實(shí)駕駛員的決策方式：先想清楚「往哪去」，再?zèng)Q定「具體怎么走」。

同時(shí)，作者還設(shè)計(jì)了一個(gè) causality-preserving 的注意力機(jī)制，保證不同尺度之間的信息流是從粗到細(xì)、逐層細(xì)化的，而不是相互泄漏。這樣一來(lái)，多尺度結(jié)構(gòu)就不只是形式上的分解，而是真正具有因果約束的軌跡生成過(guò)程。

更重要的是，這個(gè) planner 可以在單次前向傳播中并行完成多尺度、多模式軌跡解碼，不用再像文本 CoT 那樣一步一步串行生成。

三、實(shí)驗(yàn)結(jié)果說(shuō)明了什么？

從結(jié)果上看，ColaVLA 最打動(dòng)人的地方，不只是「指標(biāo)更高」，而是它同時(shí)兼顧了精度、安全和效率。

1. Open-loop：不只是預(yù)測(cè)更準(zhǔn)，而且更安全

在 nuScenes 的開(kāi)環(huán)評(píng)測(cè)中，ColaVLA 在動(dòng)作類方法里取得了最優(yōu)綜合表現(xiàn)，平均 L2 誤差為0.30 m，平均碰撞率為0.23%。相比強(qiáng)基線 SOLVE-E2E，L2 進(jìn)一步下降，碰撞率也明顯降低。

這說(shuō)明它輸出的軌跡并不只是數(shù)值上更接近真值，而是在安全性層面也更優(yōu)。

2. Closed-loop：真正體現(xiàn)方法價(jià)值的部分

在更關(guān)鍵的閉環(huán)評(píng)測(cè) NeuroNCAP 中，ColaVLA 的平均得分達(dá)到3.48，平均碰撞率降到36.8%，明顯優(yōu)于多種前序方法。

論文特別指出，相比依賴文本推理、并使用額外數(shù)據(jù)的 ImpromptuVLA，ColaVLA 在不顯式生成文本思維鏈的情況下，依然取得了更好的閉環(huán)表現(xiàn)。

這個(gè)結(jié)果很有說(shuō)服力，因?yàn)樗f(shuō)明：對(duì)自動(dòng)駕駛來(lái)說(shuō)，更長(zhǎng)、更復(fù)雜的文字推理鏈，并不一定能帶來(lái)更好的真實(shí)駕駛行為；真正關(guān)鍵的，還是內(nèi)部決策表征是否適合動(dòng)作生成，以及規(guī)劃器是否具有合理的因果結(jié)構(gòu)。

3. 推理效率：它把「落地可能性」往前推了一步

效率上，ColaVLA 也給出了非常亮眼的結(jié)果。在扎實(shí)的工程優(yōu)化后，它的在 H200 上的端到端推理延遲為228 ms/frame，而對(duì)比的文本式方法整體快了5 倍到 10 倍左右。

這意味著，把推理從文本搬到潛空間，并不只是概念上更優(yōu)雅，而是真的換來(lái)了實(shí)打?qū)嵉乃俣仁找妗?duì)于強(qiáng)調(diào)閉環(huán)和實(shí)時(shí)性的自動(dòng)駕駛來(lái)說(shuō)，這一點(diǎn)尤其關(guān)鍵。

四、消融實(shí)驗(yàn)最值得記住的幾點(diǎn)

這篇論文的消融實(shí)驗(yàn)也比較完整，但最值得記住的其實(shí)只有四點(diǎn)。

第一，潛空間推理本身確實(shí)有效。只要加入 latent reasoning，模型的軌跡誤差就會(huì)下降；再加入 rethink 階段，效果還會(huì)進(jìn)一步提升。這說(shuō)明「先抓關(guān)鍵、再做復(fù)核」的認(rèn)知鏈條不是敘事包裝，而是真正有助于決策質(zhì)量。

第二，分層并行規(guī)劃器本身也很重要。即便把 reasoning 模塊去掉，作者的 planner 在閉環(huán)上依然明顯優(yōu)于普通 MLP 頭和 diffusion 頭，說(shuō)明它確實(shí)更符合真實(shí)駕駛動(dòng)作的生成邏輯。

第三，關(guān)鍵 token 不是越多越好，而是平衡最好最重要。保留太少會(huì)丟信息，保留太多又會(huì)引入冗余，論文最終選擇了一個(gè)在表達(dá)能力和效率之間更均衡的配置。

第四，最優(yōu)的軌跡生成方式不是一次性回歸整條軌跡，而是先確定關(guān)鍵點(diǎn)，再逐層補(bǔ)齊中間細(xì)節(jié)，這和駕駛動(dòng)作本身的因果結(jié)構(gòu)是對(duì)得上的。

五、這篇論文真正有價(jià)值的地方是什么？

如果只把 ColaVLA 看成「又一個(gè)自動(dòng)駕駛模型」，其實(shí)低估了它。

我覺(jué)得這篇工作的更大意義在于，它提出了一個(gè)非常明確的判斷：

自動(dòng)駕駛中的推理，不一定需要顯式寫(xiě)成文字。

過(guò)去很多工作默認(rèn)認(rèn)為，大模型的優(yōu)勢(shì)來(lái)自「會(huì)解釋」「會(huì)說(shuō)話」「能輸出思維鏈」。但 ColaVLA 給出的答案是：在自動(dòng)駕駛這種連續(xù)控制任務(wù)里，更重要的也許不是「讓模型把思考說(shuō)出來(lái)」，而是「讓模型在內(nèi)部真正想清楚，并用更適合動(dòng)作生成的方式表達(dá)出來(lái)」。

從這個(gè)角度看，它代表的是一種很值得重視的范式變化：

• 從text reasoning轉(zhuǎn)向latent reasoning
• 從sequential decoding轉(zhuǎn)向parallel decoding
• 從「展示推理過(guò)程」轉(zhuǎn)向「兼顧安全、效率和閉環(huán)表現(xiàn)」

論文最后的結(jié)論也很清楚：把推理從文本遷移到潛空間，為自動(dòng)駕駛中的知識(shí)驅(qū)動(dòng)決策提供了一條更可擴(kuò)展、也更現(xiàn)實(shí)的路徑。

六、總結(jié)

如果要用一句話總結(jié) ColaVLA，我會(huì)這樣說(shuō)：

它不是讓自動(dòng)駕駛大模型「更會(huì)說(shuō)」，而是讓它「更會(huì)在內(nèi)部想清楚，再更快地開(kāi)出來(lái)」。

這篇論文最核心的貢獻(xiàn)，不只是提出了一個(gè)新模塊，也不只是刷新了幾項(xiàng)指標(biāo)，而是它證明了下面幾件事：

1. 自動(dòng)駕駛里的推理，可以不依賴顯式文本思維鏈；
2. 潛空間推理同樣可以保留高層駕駛決策能力；
3. 分層并行、因果一致的規(guī)劃器，更適合真實(shí)駕駛動(dòng)作生成；
4. 當(dāng)推理形式和動(dòng)作生成真正對(duì)齊時(shí)，系統(tǒng)才能同時(shí)獲得更好的安全性、效率和閉環(huán)表現(xiàn)。

對(duì)于后續(xù)自動(dòng)駕駛大模型的發(fā)展來(lái)說(shuō)，這篇工作很可能代表著一個(gè)很值得繼續(xù)深入的方向：

不是把大模型硬塞進(jìn)自動(dòng)駕駛，而是重新設(shè)計(jì)一種真正適合自動(dòng)駕駛的大模型推理方式。