Nat Methods |?無需人工標注的精準多動物追蹤，戴瓊海團隊提出新方法推動行為學研究邁向新階段

動物追蹤是理解社交互動、神經機制、行為決策的重要手段，廣泛應用于神經科學、心理學、藥理學和疾病模型研究等領域，實現精準高效的多動物追蹤將有力推動多個學科的研究。

近年來，隨著人工智能（AI）的發展，動物追蹤的自動化、智能化程度不斷提高。然而，現有追蹤方法依賴人工標注進行監督訓練，標注成本高、效率低、主觀差異大，并且難以覆蓋不同的動物種類、實驗范式和行為模式。如何在無需人工標注的前提下，在多種模式動物上實現精準追蹤，成為動物追蹤領域亟待解決的關鍵問題。

2026年5月4日，清華大學戴瓊海/吳嘉敏/李欣陽研究團隊聯合復旦大學李子薇團隊在Nature Methods上發表了研究論文Unsupervised transfer learning enables multi-animal tracking without training annotation，發布一種實現精準多動物追蹤的無監督遷移學習方法UDMT，在不需要任何人工標注訓練樣本的條件下，僅輸入原始視頻即可完成追蹤模型訓練，不僅適用于多種模式動物，而且在擁擠、遮擋、快速運動、低對比度和跨物種實驗等復雜條件下實現了精準高效的多動物追蹤。

圖1：UDMT在多種模式動物上實現精準追蹤

UDMT基于雙向一致性追蹤原理，首先讓網絡順著視頻進行正向追蹤，然后再逆著視頻進行反向追蹤，當網絡收斂時正向軌跡和反向軌跡應該完全重合。基于這一原理，研究團隊從視頻自身的時間連續性中構建訓練信號，使AI模型不需要任何人工標注訓練樣本，依然能夠從數據中自動學習動物的外觀特征和運動規律。此外，團隊進一步提出時空信息聚合、目標定位優化、身份誤差校正、自動參數調節等關鍵技術，顯著提升復雜場景下的追蹤精度和穩定性。在實際使用中，研究人員只需指定需要追蹤的動物個體，UDMT便可自動完成模型訓練和后續追蹤，并輸出每只動物的完整運動軌跡。該方法消除了人工標注和參數調節的沉重負擔，使多動物追蹤跨入無監督、高效率、自動化的新階段。

圖2：UDMT原理

真實行為實驗往往包含擁擠、遮擋、低對比度、跨物種和快速運動等復雜情況。研究團隊將UDMT應用于擁擠高對比度的黑色小鼠、低對比度的白色小鼠、大鼠與小鼠共處的跨物種實驗，以及包含復雜背景的情況。結果表明，UDMT能夠在各種場景下保持優越的準確性和穩定性。與DeepLabCut【1】、SLEAP【2】、idtracker.ai【3】和TRex【4】等現有最先進的監督學習方法相比，UDMT不僅無需任何人工標注，而且在不同動物數量、記錄時長和幀率下均表現出更高的追蹤精度。

圖3：UDMT具有超越當前最先進監督方法的性能

動物行為與神經活動密切相關，UDMT在神經行為學前沿研究中正發揮重要作用。為探究神經活動與動物行為之間的關聯，研究團隊將UDMT與頭戴式微型顯微鏡結合【5】，構建了多只小鼠自由活動的神經行為學記錄平臺，在精準捕捉小鼠運動軌跡的同時，借助先進頭戴式顯微鏡記錄視覺皮層2000余個神經元的活動。分析表明，當小鼠周圍有同伴靠近時，整體神經元發放率顯著升高；當小鼠處于較高運動速度時，神經活動同樣顯著增強。

圖4：UDMT結合頭戴式顯微鏡實現自由活動小鼠的神經行為學分析

除嚙齒動物外，行為學研究還廣泛涉及昆蟲、線蟲和魚類等多種模式動物。不同動物在體型、運動方式、成像尺度和行為模式上差異顯著，對追蹤方法的通用性提出了更高要求。研究團隊進一步將UDMT擴展到果蠅、秀麗隱桿線蟲和斗魚等動物，實現了最多17只動物的精準連續追蹤。這些跨物種實驗表明，UDMT不依賴單一動物類型或特定實驗裝置，能夠適用于多樣化的動物行為學實驗。研究團隊已發布UDMT的Python源代碼、圖形用戶界面、行為記錄數據和詳細教程，促進該方法在更廣泛科學研究場景中的應用。

清華大學戴瓊海院士、吳嘉敏副教授、李欣陽助理教授，復旦大學李子薇青年副研究員為本文的共同通訊作者，復旦大學博士生李奕昕為第一作者，張琦、張元龍、范家旗、盧志和徐昕翃參與并做出重要貢獻。

原文鏈接：https://www.nature.com/articles/s41592-026-03051-8

UDMT主頁：https://cabooster.github.io/UDMT/

代碼鏈接：https://github.com/cabooster/UDMT

制版人： 十一

參考文獻

1. Lauer, J. et al. Multi-animal pose estimation, identification and tracking with DeepLabCut.Nature Methods19, 496–504 (2022).

2. Pereira, T. D. et al. SLEAP: A deep learning system for multi-animal pose tracking.Nature Methods19, 486–495 (2022).

3. Romero-Ferrero, F. et al. idtracker.ai: tracking all individuals in small or large collectives of unmarked animals.Nature Methods16, 179–182 (2019).

4. Walter, T. & Couzin, I.D. TRex, a fast multi-animal tracking system with markerless identification, and 2D estimation of posture and visual fields.eLife10, 64000 (2021).

5. Zhang, Y. et al. A miniaturized mesoscope for the large-scale single-neuron-resolved imaging of neuronal activity in freely behaving mice.Nature Biomedical Engineering8, 754–774 (2024).

學術合作組織

（*排名不分先后）

戰略合作伙伴

（*排名不分先后）

轉載須知

【非原創文章】本文著作權歸文章作者所有，歡迎個人轉發分享，未經作者的允許禁止轉載，作者擁有所有法定權利，違者必究。

BioArt

Med

Plants

人才招聘

點擊主頁推薦活動

關注更多最新活動！