ACL 2026｜AI for聾啞群體，港理工開源思考型手語翻譯模型

本文作者分別來自香港理工大學以及四川大學。第一作者江奕飏是來自香港理工大學的博士生，指導老師為李青教授與魏驍勇教授。

長期以來，聽障群體在信息獲取、公共服務和社會交流中都處于相對邊緣的位置。主流社會的大量信息傳播方式默認建立在語音和文字之上，這意味著許多依賴手語進行表達和理解的人群，在教育、醫療、政務服務以及日常溝通中，往往天然面臨更高門檻。與此同時，當人工智能正在快速改變內容生產、知識獲取和人機交互方式時，這部分群體卻并沒有同等程度地享受到技術發展的紅利。如何讓 AI 真正服務更多人，而不是只服務于主流交互方式下的多數群體，已經成為一個越來越重要的問題。

也正是在這樣的背景下，手語翻譯（Sign Language Translation, SLT）的研究顯得尤為重要。它不僅關乎一個具體的多模態任務，更關乎如何借助人工智能幫助聽障群體更順暢地接入主流社會，降低溝通壁壘，提升信息可達性與社會參與度。從這個意義上說，SLT 不只是「把視頻翻譯成文字」，而是在嘗試搭建一座連接不同表達體系與社會環境的橋梁。

但從技術角度看，手語翻譯遠比想象中復雜。長期以來，許多方法默認手語視頻中的局部片段可以直接對應到自然語言中的詞語或短語，仿佛只要完成逐段對齊，就能得到正確翻譯。然而，這一假設在真實場景中并不總是成立。手語表達往往依賴動作軌跡、空間位置、身體朝向以及上下文關系共同構成語義，同一個手型或動作在不同語境下甚至可能表達完全不同的含義。也正因如此，這篇論文提出：手語翻譯本質上更接近一種跨模態推理問題，而不只是簡單的視頻到文本映射。

針對這一問題，研究團隊提出了 SignThought。這是一種面向 gloss-free 手語翻譯的全新框架，其核心思想是在視頻理解與文本生成之間，引入一條有序的 latent thoughts 鏈條，讓模型在生成翻譯之前，先逐步組織中間語義表示，再根據這些中間語義去檢索視頻證據，最終完成更連貫、更忠實的翻譯。與此同時，論文還提出了 plan-then-ground 的解碼方式：模型先決定「要說什么」，再回到視頻中尋找「證據在哪里」。

目前，該工作已被 ACL 2026 Main Conference 接收，并擬推薦為口頭報告。

• 論文標題：Think in Latent Thoughts: A New Paradigm for Gloss-Free Sign Language Translation
• 論文地址：
  
• https://arxiv.org/abs/2604.15301
• 代碼地址：
• https://github.com/fletcherjiang/SignThought

研究背景

近年來，gloss-free 手語翻譯逐漸成為研究熱點。與傳統依賴 gloss 標注的方案不同，這類方法希望直接從手語視頻生成自然語言句子，避免昂貴而繁瑣的中間標注成本。

但真正的困難在于，手語的語義往往并不是由某一個固定手勢直接決定的，而是由動作軌跡、空間位置和上下文關系共同生成。如圖所示，同樣與「車輛」相關的手型，如果只做直接的視頻到文本映射，模型可能只能識別出「車輛」和「樹」這類表層元素，最終生成類似「一輛車在樹旁邊」這樣的描述；但實際上，手語中真正的含義可能來自運動方向和空間關系本身，例如「車輛」從位置 A 朝位置 B 移動，并與「樹」發生交互，這時更準確的語義應是「一輛車撞上了一棵樹」。換句話說，同一個與車輛相關的手型，在不同動作方式和空間配置下，可能表達「停車」「撞擊」或「行駛」等完全不同的含義。

這也說明，現有 gloss-free 方法面臨一個關鍵瓶頸：模型往往需要同時完成兩件事。第一，它要決定當前到底應該表達什么語義；第二，它還要在長視頻中定位支持這一語義的時序證據。這兩件事被強行耦合在一起后，很容易造成語義規劃不穩定、注意力分散，或者雖然生成的句子表面流暢，卻沒有真正對應到視頻中的核心語義關系。

相比文本推理任務可以顯式維護中間 reasoning steps，手語翻譯中的推理更難，因為它橫跨視覺與語言兩種模態，缺乏天然離散、可直接操作的中間推理單元。也正因如此，這篇論文提出：手語翻譯本質上更接近一種跨模態推理問題，而不只是簡單的視頻到文本映射。論文正是從這里切入，嘗試為 gloss-free 手語翻譯建立一個顯式的中間推理接口。

核心方法

SignThought 的整體框架主要由三部分組成。第一部分是Sign Encoder，負責把輸入的手語視頻編碼成稠密的時序證據特征；第二部分是核心的Latent Chain-of-Thought Thinking Module，它通過一組可學習的 thought slots，把長視頻中的連續證據逐步壓縮成一條有順序的 latent thought chain；第三部分是Dual-Stream Decoder，先基于 thought chain 完成語義規劃，再回到視頻特征中做細粒度 grounding，最終生成翻譯文本。

這套設計背后有三個關鍵點。首先，論文把 latent thoughts 視為視覺證據與自然語言生成之間的中間語義接口，不再把所有信息都壓縮進一個黑盒 encoder 表示中。其次，模型通過plan-then-ground把「語義決策」和「證據檢索」顯式拆開，減少兩者相互干擾。最后，latent thoughts 不只是內部狀態，還能作為可追蹤的中間錨點，把生成文本與輸入視頻中的特定時間區域對應起來，從而提升翻譯的 faithful grounding 能力。

SignThought 的內部推理過程：完整模型能夠形成沿時間順序遞進且較為集中的 thought-to-frame 對齊。

更具體地說，在 thinking module 中，模型先用帶有因果約束的 thought 更新機制，讓前面的 thoughts 偏向表示較粗粒度的語義，后面的 thoughts 再逐漸補充細節；隨后，通過結構化路由機制，把不同時間段的視覺證據分配給不同 thoughts；到了 decoder 階段，模型會先查看當前最相關的 thought，再根據 thought 對應的時序先驗去視頻中查找證據。這使得「先想清楚，再去找依據」第一次以相對明確的方式寫進了手語翻譯模型結構里。

數據集構建

除了方法本身，這項工作還同步構建了一個新的大規模香港手語數據集LC-HKSLT。論文介紹，LC-HKSLT 主要來自公開視頻場景中的播報式內容，具有持續可見的手語翻譯員，并且只保留句子級監督信號，不引入 gloss 標注或 SLR vocabulary，更貼近真實部署環境。

從規模上看，LC-HKSLT 總計包含1311 小時的手語視頻、432K clips，覆蓋14 位 signer，SLT vocabulary 達到125,833。論文還特別說明，完整數據集是在大規模真實場景中收集而來，而本文實驗主要使用其中一個精心整理的30 小時子集，以便和現有中文手語翻譯 benchmark 保持更可比的評測設置。

這個數據集的意義不只是「更大」。更重要的是，它提供了一種更真實的弱監督訓練條件：模型拿到的不是干凈、精細的人為對齊標注，而是更接近真實世界的數據形態。也正是在這樣的設定下，顯式的跨模態推理與證據組織能力才會真正變得重要。

實驗結果

論文在五個手語翻譯 benchmark 上進行了實驗，包括PHOENIX14T、CSL-Daily、How2Sign、OpenASL以及新提出的LC-HKSLT。結果顯示，SignThought 在這些數據集上都取得了最好的 gloss-free BLEU-4，并且在PHOENIX14T、How2Sign、OpenASL 和 LC-HKSLT上拿到了最高的 ROUGE，整體表現非常穩定。

具體來看，在PHOENIX14T上，SignThought 達到27.22 BLEU-4 / 54.50 ROUGE；在CSL-Daily上達到23.92 BLEU-4 / 50.99 ROUGE。在更大規模的數據集上，提升更加明顯：How2Sign的 BLEU-4 從此前方法的9.37提升到13.39，OpenASL從13.21提升到19.55。

在自建數據集LC-HKSLT上，SignThought 同樣取得了很強結果。論文報告，公開設置下模型達到21.15 BLEU-4 / 47.87 ROUGE；進一步在其余 LC-HKSLT 數據上進行預訓練后，再在 30 小時子集上微調，性能提升到30.22 BLEU-4 / 60.01 ROUGE。這也說明，對于手語翻譯而言，大規模、領域內一致的 sign-text 數據仍然具有非常高的價值。

論文中的消融實驗也支持了這套設計的有效性。結果表明，一旦去掉 latent thinking module，性能下降最明顯；而去掉 causal thought 更新、結構化 routing、dual-stream decoder 或 thought-guided prior injection，也都會帶來不同程度的退化。這說明 SignThought 的提升并不來自某個單獨技巧，而是來自「中間推理鏈 + 路由 + grounding」這一整套機制的協同作用。

總結與展望

這項工作的價值，不只是提出了一個新的手語翻譯模型，更重要的是，它嘗試重新定義這個任務：手語翻譯不應只被看成視頻到文本的映射問題，而應被視作跨模態推理問題。圍繞這一判斷，SignThought 給出了一個相對完整的答案：通過 latent thoughts 建立中間語義層，通過 plan-then-ground 解耦語義規劃與證據檢索，再借助大規模真實場景數據驗證這一方向的可行性。

當然，目前模型中的「thinking」仍然是 latent 的，而不是完全顯式、可讀、可控的人類語言推理鏈。換句話說，這項工作并不是終點，但它向前邁出了一步：它讓手語翻譯第一次更明確地擁有了「先組織語義、再 grounded 生成」的中間過程。

對于整個手語語言技術領域來說，這個方向很值得期待。未來如果進一步把 latent planning 與更顯式的語義結構、文本 rationale 或可控推理機制結合起來，手語翻譯模型或許不僅能給出更準確的輸出，還能更好地解釋「為什么這樣翻譯」。而這，也可能成為下一階段多模態理解與生成系統的重要突破口。