東華大學(xué)鮑勁松教授：基于具身數(shù)字孿生的人本協(xié)作機(jī)器人行為研究：動(dòng)作策略的認(rèn)知推斷 | CJME論文推薦

引用論文

Xiaodong Tong, Hangbin Zheng, Baicun Wang, Jinsong Bao, Embodied Digital Twin Driven Human-Centric Collaborative Robot Behavior: Cognitive Inference of Action Strategies, Chinese Journal of Mechanical Engineering, Volume 38, 2025, 100164, https://doi.org/10.1016/j.cjme.2025.100164.

(戳鏈接，下載全文)

關(guān)于文章

01

研究背景及目的

協(xié)作機(jī)器人通過(guò)靈活的行為策略與人類(lèi)操作員自主交互，這是一個(gè)重大挑戰(zhàn)。在自主協(xié)作過(guò)程中，對(duì)人類(lèi)操作員狀態(tài)缺乏足夠的關(guān)注，導(dǎo)致了安全隱患，需要改進(jìn)當(dāng)前的機(jī)器人行為策略研究。

02

試驗(yàn)方法

本文建立機(jī)器人學(xué)習(xí)和訓(xùn)練的具身環(huán)境，以解決復(fù)雜和動(dòng)態(tài)的人類(lèi)行為，通過(guò)時(shí)空多感官語(yǔ)義融合實(shí)現(xiàn)深度感知。最后，利用基于大型語(yǔ)言模型多智能體系統(tǒng)的神經(jīng)符號(hào)認(rèn)知推理，實(shí)現(xiàn)了符合人類(lèi)意圖的機(jī)器人自主協(xié)作。使用退役的鋰電池拆卸任務(wù)來(lái)驗(yàn)證我們的方法，在HRC實(shí)驗(yàn)平臺(tái)內(nèi)，該裝置包括一名人類(lèi)操作員、一臺(tái)UR5 機(jī)器人、退役鋰電池、工具和環(huán)境識(shí)別傳感器（D435 深度傳感相機(jī)）。拆解任務(wù)和收集的數(shù)據(jù)通過(guò)通信網(wǎng)絡(luò)存儲(chǔ)在數(shù)據(jù)庫(kù)管理系統(tǒng)中，可供邊緣PC （NVIDIA RTX2080）使用。邊緣部署 MAC-NSCR由遠(yuǎn)程服務(wù)器上的LLM（Vicuna 32-B）驅(qū)動(dòng)，為機(jī)器人提供協(xié)作策略。該平臺(tái)具有圖形用戶界面，可顯示虛擬拆卸過(guò)程。

在實(shí)驗(yàn)中，召集了來(lái)自不同背景的25 名身體健全的操作員，根據(jù)一系列任務(wù)和/或序列圖交替執(zhí)行重復(fù)的拆卸任務(wù)。其中，隨機(jī)抽取四名人類(lèi)作者執(zhí)行重復(fù)拆卸過(guò)程 50 次，而其余21名操作員每人執(zhí)行 10 次。在實(shí)驗(yàn)之前、期間和之后收集了包括特定過(guò)程的協(xié)作拆解文檔、多視角順序圖像和事件觸發(fā)統(tǒng)計(jì)數(shù)據(jù)在內(nèi)的數(shù)據(jù)。

03

結(jié)果

從評(píng)估結(jié)果可以看出，基于MAC-NSCR的協(xié)作機(jī)器人決策能夠在嚴(yán)格的時(shí)延要求下準(zhǔn)確推斷出正確的人體身體和認(rèn)知意圖，推理效率分別為92.17%和96.15%。然而，對(duì)作者心理意圖的推理準(zhǔn)確率僅為73.44%。盡管模型的推理延遲在允許范圍內(nèi)，但在這種情況下，操作員的回避和鞠躬等動(dòng)作以及機(jī)械臂的遮擋干擾了智能體在HRC期間的面部識(shí)別。實(shí)驗(yàn)還表明，隨著重新安排和意外事件的增加，人類(lèi)操作員表現(xiàn)出的負(fù)面情緒不斷升級(jí)，進(jìn)而增加了任務(wù)執(zhí)行過(guò)程中的安全風(fēng)險(xiǎn)。

04

結(jié)論

本文介紹了一種針對(duì)以機(jī)器人協(xié)作策略設(shè)計(jì)的具身數(shù)字孿生，該數(shù)字孿生在以人為本的范式中提高了HRC的效率和質(zhì)量。EDT在協(xié)作環(huán)境理解方面的擬人化能力有助于及時(shí)、精確地響應(yīng)操作員的行為意圖，從而促進(jìn)以人為本的工業(yè)實(shí)踐。結(jié)論總結(jié)如下：（1）提出了一種基于以人為中心的EDT建?？蚣?。為了促進(jìn) EDT 內(nèi)的人機(jī)系統(tǒng)溝通、理解和協(xié)作智能，該框架集成了 EDT 建設(shè)所必需的關(guān)鍵技術(shù)。通過(guò)將模式識(shí)別技術(shù)應(yīng)用于HRC環(huán)境的深度感知，并開(kāi)發(fā)時(shí)空多視角語(yǔ)義融合深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了對(duì)協(xié)作環(huán)境中人類(lèi)作者意圖的認(rèn)知推理。 （2）在EDT的基礎(chǔ)上提出的MAC-NSCR方法融合了AI理論中神經(jīng)學(xué)和符號(hào)化的計(jì)算優(yōu)勢(shì)，不僅實(shí)現(xiàn)了真實(shí)協(xié)作環(huán)境中多維信息的主動(dòng)融合和理解，而且對(duì)深層次的人類(lèi)意圖和策略的復(fù)雜映射關(guān)系進(jìn)行了認(rèn)知推理。LLM-MAS技術(shù)促進(jìn)了MAC-NSCR的自主運(yùn)行。 （3）此外，該案例研究強(qiáng)調(diào)了所提方法的顯著優(yōu)勢(shì)，驗(yàn)證了應(yīng)對(duì)人類(lèi)安全隱患策略的認(rèn)知推理性能。評(píng)估結(jié)果表明，該策略在任務(wù)重排、應(yīng)對(duì)不可預(yù)見(jiàn)事件和應(yīng)對(duì)人類(lèi)負(fù)面狀態(tài)方面的策略推理效率分別達(dá)到92.17%、96.15%和73.44%，總體準(zhǔn)確率為90%。 因此，EDT具有以人為本、智能交互和自主的特點(diǎn)，從而實(shí)現(xiàn)了更廣泛的以人為本的產(chǎn)業(yè)服務(wù)。此外，在多個(gè)操作員與機(jī)器人協(xié)作執(zhí)行協(xié)作任務(wù)的工業(yè)環(huán)境中，需要進(jìn)一步研究來(lái)調(diào)整機(jī)器人行為策略認(rèn)知推理以適應(yīng)多個(gè)人的意圖。

05

前景與應(yīng)用

EDT框架核心在于實(shí)現(xiàn)了從物理保真到認(rèn)知-感知保真的轉(zhuǎn)變，即從孿生機(jī)器轉(zhuǎn)向?qū)\生人類(lèi)的認(rèn)知狀態(tài)。這一突破的未來(lái)前景極其廣闊，首先在于將EDT從當(dāng)前的響應(yīng)型系統(tǒng)進(jìn)化為預(yù)測(cè)型系統(tǒng)來(lái)預(yù)判操作者的失誤概率和疲勞拐點(diǎn)。EDT（認(rèn)知層）與高保真物理仿真的融合將創(chuàng)造出“物理-認(rèn)知混合孿生”，使得有能力在虛擬空間中模擬工藝變動(dòng)對(duì)人類(lèi)“認(rèn)知負(fù)荷”的真實(shí)影響。此項(xiàng)進(jìn)展的應(yīng)用場(chǎng)景將賦能任何以“人”為核心的領(lǐng)域：在醫(yī)療領(lǐng)域，它能孿生外科醫(yī)生的手部穩(wěn)定性和精神壓力，驅(qū)動(dòng)手術(shù)機(jī)器人進(jìn)行自適應(yīng)輔助；在航空航天總裝中，它能孿生工程師的注意力焦點(diǎn)，主動(dòng)預(yù)防高價(jià)值部件的裝配失誤，實(shí)現(xiàn)最佳助力，最終構(gòu)建一個(gè)主動(dòng)預(yù)見(jiàn)需求的認(rèn)知-感知型物理世界。

關(guān)于作者

01

作者介紹

鮑勁松，教授、博士生導(dǎo)師； 東華大學(xué)智能制造研究所，所長(zhǎng)。畢業(yè)于上海交通大學(xué)機(jī)械與動(dòng)力工程學(xué)院，工學(xué)博士學(xué)位。曾任上海交通大學(xué)計(jì)算機(jī)集成制造研究所，副教授；美國(guó)USC大學(xué)訪問(wèn)學(xué)者，新西蘭奧克蘭大學(xué)高級(jí)訪問(wèn)教授。主持和參與主持科技部重點(diǎn)研發(fā)計(jì)劃1項(xiàng)、國(guó)家自然科學(xué)基金面上項(xiàng)目2項(xiàng)、科技部支撐計(jì)劃子項(xiàng)1項(xiàng)、上海市科委制造業(yè)專(zhuān)項(xiàng)2項(xiàng)、面向航天的專(zhuān)項(xiàng)2項(xiàng)、各省部級(jí)智能制造專(zhuān)項(xiàng)20余項(xiàng)，曾榮獲多項(xiàng)國(guó)家和省部級(jí)科技獎(jiǎng)勵(lì)。出版專(zhuān)著5部，發(fā)表論文300余篇，其中SCI收錄論文157篇，獲授權(quán)國(guó)家專(zhuān)利78項(xiàng)。受邀在國(guó)內(nèi)外學(xué)術(shù)會(huì)議上做大會(huì)或邀請(qǐng)報(bào)告100余次。擔(dān)任上海市工程圖形學(xué)會(huì)常務(wù)理事，全國(guó)高校自動(dòng)化年會(huì)華東分會(huì)理事，中國(guó)機(jī)械工程學(xué)會(huì)機(jī)器人分會(huì)第一屆委員，Scientific Reports、IJPOM國(guó)際編委，國(guó)際期刊JMS，JIM，JPM，IJCIM，IJPR，IJAMT，IEEE IOT，IEEE TII等國(guó)際刊物評(píng)審專(zhuān)家，國(guó)家自然科學(xué)基金委通訊評(píng)議專(zhuān)家。

02

研究方向

團(tuán)隊(duì)研究方向聚焦于構(gòu)建新一代智能制造系統(tǒng)，核心是探索數(shù)字孿生和信息物理系統(tǒng)的深度融合架構(gòu)。在工業(yè)軟件層面，專(zhuān)注于打通數(shù)字線程的全生命周期數(shù)據(jù)，并基于云原生和DTOps理念，構(gòu)建彈性、可擴(kuò)展的系統(tǒng)平臺(tái)。研究重點(diǎn)在于工業(yè)智能，即利用工業(yè)大模型和多模態(tài)感知技術(shù)，構(gòu)建工業(yè)語(yǔ)義圖譜，并以此為基礎(chǔ)，通過(guò)認(rèn)知/智能體計(jì)算實(shí)現(xiàn)“系統(tǒng)級(jí)大腦”。最終，這種認(rèn)知智能通過(guò)具身智能賦能 Co-Robot，實(shí)現(xiàn)與數(shù)字現(xiàn)實(shí)深度交互的、真正高效安全的人機(jī)協(xié)作。

03

近兩年團(tuán)隊(duì)發(fā)表文章

[1] Xiaodong Tong, Ke Li, Jinsong Bao*,GNN-LLM hybrid cognitive architectures for generative task adaptation in multi-human multi-robot collaborative disassembly,Robotics and Computer-Integrated Manufacturing,2026, 98:103169.

[2] Tianyuan Liu, Jinsong Bao*. A novel period-sensitive LSTM for laser welding quality prediction. IEEE Transactions on Industrial Informatics, 2024.

[3] Qi Zhang, Anmin Wang, Jie Li, Longhui Zheng, Jinsong Bao*, Dan Zhang. A Production-Logistics prediction method integrating Spatial-Temporal features in flexible production workshop for buffer allocation problem[J]. Computers & Industrial Engineering, 2025, 200: 110761.

[4] Yi Hu, Yicheng Sun, Xiaojian Wen, Sen Wang, Jinsong Bao*. Shopfloor layout generation method based on large language models[J]. International Journal of Computer Integrated Manufacturing, 2025: 1-19.

[5] Dong Zhixia, Zhao Xiangyun, Zheng Hangbin, Zheng Hanyao, Chen Dafan, Cao Jia, Xiao Zili, Sun Yunwei, Zhuang Qian, Wu Shan, Xia Jie, Ning Min, Qin Binjie, Zhou Hui*, Bao Jinsong*, Wan Xinjian*. Efficacy of real-time artificial intelligence-aid endoscopic ultrasonography diagnostic system in discriminating gastrointestinal stromal tumors and leiomyomas: a multicenter diagnostic study[J]. Eclinicalmedicine, 2024, 73.

[6] Tong X, Bao J*, Tao F. Co-evolutionary digital twins: A multidimensional dynamic approach to digital engineering [J]. Advanced Engineering Informatics, 2024, DOI: 10.1016/j.aei.2024.102554.

[7] Yicheng Sun, Qi Zhang , Jinsong Bao*, Yuqian Lu and Shimin Liu. Empowering digital twins with large language models for global temporal feature learning[J]. Journal of Manufacturing Systems, 2024, 74: 83-99.

作 者：鮑勁松

責(zé)任編輯：杜蔚杰

責(zé)任校對(duì)：劉 丹

審 核：張 強(qiáng)

JME學(xué)院簡(jiǎn)介

JME學(xué)院是由《機(jī)械工程學(xué)報(bào)》編輯部2018年創(chuàng)建，以關(guān)注、陪伴青年學(xué)者成長(zhǎng)為宗旨，努力探索學(xué)術(shù)傳播服務(wù)新模式。

歡迎各位老師掃碼添加小助理-暖暖為好友，由小助理拉入JME學(xué)院官方群！

歡迎關(guān)注JME學(xué)院視頻號(hào)~

尋覓合作伙伴

有一種合作叫做真誠(chéng)，有一種發(fā)展可以無(wú)限，有一種伙伴可以互利共贏，愿我們合作起來(lái)流連忘返，發(fā)展起來(lái)前景可觀。關(guān)于論文推薦、團(tuán)隊(duì)介紹、圖書(shū)出版、學(xué)術(shù)直播、招聘信息、會(huì)議推廣等，請(qǐng)與我們聯(lián)系。

感謝關(guān)注我們！《機(jī)械工程學(xué)報(bào)》編輯部將努力為您打造一個(gè)有態(tài)度、有深度、有溫度的學(xué)術(shù)媒體！

版權(quán)聲明：

本文為《機(jī)械工程學(xué)報(bào)》編輯部原創(chuàng)內(nèi)容，歡迎轉(zhuǎn)載！

在公眾號(hào)后臺(tái)留言需要轉(zhuǎn)載的文章題目及要轉(zhuǎn)載的公眾號(hào)ID以獲取授權(quán)!

聯(lián)系人：暖暖

電話：010-88379909

E-mail：jme@cmes.org

網(wǎng) 址：http://www.cjmenet.com.cn

官方微信號(hào)：jmewechat