沖刺3400億估值，翁荔親自出鏡，交出一款更像人的大模型

智東西
作者 王涵
編輯 心緣

智東西5月12日報道，今日凌晨，前OpenAI CTO米拉·穆拉蒂（Mira Murati）聯合創辦的AI獨角獸Thinking Machines Lab發布新型交互語音模型研究版TML-Interaction-Small，該模型可以持續接收音頻、視頻和文本信息實時思考，與用戶像聊天一樣及時反饋。

該模型系統由一個276B的交互模型以及一個負責持續推理、工具使用和長周期任務的異步后臺模型組成。

Thinking Machines Lab聯合創始人翁荔親自演示該模型的語音交互能力，該模型可以做到：

1、無縫對話管理

模型能隱式追蹤說話者是在思考、停頓、自我糾正還是邀請回應，無需單獨的對話管理模塊。

2、語言和視覺上的插話

模型會根據上下文需要隨時插入互動。

3、同時發聲

用戶和模型可以同時說話（例如實時翻譯）。

4、時間感知

模型能直接感知時間的流逝。

5、同步工具調用、搜索與生成式UI

在說話和聆聽用戶的同時，模型可以并行進行搜索、瀏覽網頁或生成UI，并根據需要將結果自然融入對話。

在較長的真實會話中，模型與用戶的對話連續發生，更像是與用戶協作而非僅是“提示”。

在基準測試上中，TML-Interaction-Small在智能與交互質量的對比中，其交互質量遠超Gemini-3.1-flash-live-preview (minimal)等一眾模型，智能則僅次于GPT-realtime-2.0 (xhigh)。

在響應速度對比上，TML-Interaction-Small的響應時間最短，超越GPT-realtime-2.0、GPT-realtime-1.5以及Gemini-3.1-flash-live-preview。

模型一經發出，就獲得了不少網友的支持與好評。

知名科技KOL Daniel評論稱“天吶，他們做出了Her?！盚er是一部2013年上映的的AI題材電影，男主購買了一套高度智能的AI操作系統，而這個系統逐漸發展出具有情感、幽默感和自主意識的人格。

在X擔任高級軟件工程師的Raimo Tuisku認為實時交互能力能夠將AI的體驗推向更接近人類所感知的智能。

但也有網友提出了質疑。

這位網友提出：“實時交互模型面臨的隱私挑戰在于：設備無法可靠區分孩子靠近時的無意背景音和有意輸入，而不同標注者的合理判斷差異常被誤讀為數據噪聲，而非測量缺陷。實時交互模型非但沒有緩解這一問題，還讓這個問題更棘手了。”

Thinking Machines Lab是由前OpenAI CTO米拉·穆拉蒂（Mira Murati）聯合創辦的AI初創公司，于2025年2月正式成立于美國舊金山。

Thinking Machines Lab創立初期就從OpenAI、Meta等公司挖來了約30名核心研究員和工程師，其聯合創始人團隊成員有：OpenAI聯合創始人John Schulman；前OpenAI后訓練負責人Barret Zoph；前OpenAI VP翁荔；前OpenAI研究員Luke Metz與Andrew Tulloch。PyTorch核心人物Soumith Chintala后來也加入并擔任CTO。

融資方面，2025年7月，Thinking Machines Lab完成由a16z領投的20億美元（約合人民幣135.9億元）種子輪融資，投資方還包括NVIDIA、AMD、Cisco、ServiceNow等，融資后估值達到120億美元（約合人民幣815.4億元），該輪融資被認為是硅谷歷史上最大的Seed輪之一。

2025年底，Thinking Machines Lab被曝正在尋求新一輪融資，目標估值已被推高至約500億美元（約合人民幣3397.5億元）。今年3月，其還與英偉達達成大規模算力合作，獲得至少1GW級別的Vera Rubin GPU資源。

一、流式交互SOTA，主動視覺超越現有模型

在流式基準測試FD-bench V1、FD-bench V1.5、FD-bench V3中，TML-Interaction-Small的得分超過了同類型的GPT-realtime-2.0(minimal)等Instant模型與思考模型如GPT-realtime-2.0(xhigh)與Gemini-3.1-flash-live(high)。

但在輪次式基準測試Audio MultiChallenge、BigBench Audio、BigBench Audio與IFEval中，TML-Interaction-Small的得分僅次于GPT-realtime-2.0(xhigh)。

Thinking Machines Lab（后簡稱TML）團隊內部創建的的主動音頻基準測試TimeSpeak、CueSpeak以及視覺主動性基準測試RepCount-A、ProactiveVideoQA與Charades中，TML-Interaction-Small的表現遠超其他現有模型，其他模型要么保持沉默，要么給出錯誤答案。

在這個案例中，測試者讓模型識別其伸出了幾根手指并實時播報?？梢钥吹絋ML-Interaction-Small可以很精準地數出手指的數量并且瞬時播報，幾乎沒有響應時間。

TML-Interaction-Small還可以計算時間的流逝，例如，測試者讓其倒數30秒，并每十秒播報一次。TML-Interaction-Small沒有受到測試者演講內容的影響，認真執行倒數計時的任務，時間把握也很精確。

二、200ms并發處理，后臺異步深度推理，口語化安全拒答

TML-Interaction-Small是原生適應雙向連續交互的模型，它能夠在同一持續循環中，跨音頻、視頻和文本同時進行感知與回應。整個系統圍繞兩個核心理念進行架構：一個具備時間感知能力、維持實時在場的交互模型，以及一個負責持續推理、工具使用和長周期任務的異步后臺模型。

輪次式模型看到的是交替的token序列。而具備時間感知能力的交互模型看到的則是連續的微輪次流，因此靜默、重疊發聲和打斷都會保留在模型的上下文中。

當某項任務所需的深度推理無法瞬時完成時，交互模型會將任務委托給異步運行的后臺模型。在整個過程中，交互模型始終保持在場并在后臺結果產生時將其無縫融入對話。

這種分工讓用戶能夠同時受益于高響應速度與最大限度的智能：既擁有非推理模型的響應延遲，又能獲得推理模型的規劃、工具使用和智能體工作流能力。需要注意的是，后臺模型與交互模型本身都具備智能。

TML團隊從連續的實時音頻和視頻出發，他們設計了：

1、時間對齊的微輪次

持續交替處理200毫秒的輸入與生成200毫秒的輸出。通過這種設計，模型必須遵守的人為輪次邊界將不存在。

2、無編碼器的早期融合

TML團隊選擇以dMel的形式接收音頻信號，并通過一個輕量級的嵌入層進行轉換。圖像被分割成40×40的圖塊，并由hMLP進行編碼。在音頻解碼方面，其使用了一個flow head。所有組件均與Transformer一起從零開始聯合訓練。

3、推理優化

在推理時，客戶端可以將每個200毫秒塊作為一個獨立的請求發送，而推理服務器則將這些塊追加到GPU內存中的一個持久化序列中。此外，TML團隊還在MoE（混合專家）內核中采用了gather+gemv策略，優化了雙向服務中遇到的延遲和計算形態。

4、訓練器-采樣器對齊

在訓練穩定性和系統各組件調試方面，TML團隊采用訓練器-采樣器對齊方法，實現了批處理不變的內核，端到端性能開銷<5%。

5、交互模型與后臺模型之間的協調

當交互模型進行任務委派時，它會發送一個豐富的上下文包，包含完整的對話內容。后臺模型產生結果時會將其流式返回，而交互模型則會根據用戶當前正在做的事情，在合適的時機將這些更新交織進對話中。

在安全方面，為了使拒答在語音中更自然口語化，TML團隊使用文本轉語音模型生成拒答和過度拒答的訓練數據，覆蓋一系列被禁止的話題范圍，并將拒答邊界校準為傾向于自然措辭但同樣堅定的拒答方式。為了提升在extended語音對話中的魯棒性，TML團隊使用自動化紅隊測試工具生成了多輪拒答數據，同時在行為上保持與模型基于文本的拒答高度一致。

結語：AI開始具備真人感

就TML-Interaction-Small的表現來看，AI已經開始具備“真人感”。它能聽、能看、能等待、能打斷、能并行思考。

交互模型就像一個能一直和你同時說話、同時聽你說話的人，而這種實時性是AI與物理世界交互所必需的。從落地角度來看，TML-Interaction-Small將給機器人、自動駕駛等物理交互領域帶來突破。

當然，TML-Interaction-Small也并不完美，在技術博客的最后，TML團隊提出該模型在長會話上下文管理、低延遲部署的網絡依賴性、實時交互的對齊與安全、模型規模擴展的延遲瓶頸，以及后臺代理與交互模型協同等五個方面仍有待突破的空間。