近日,由腦機交互與人機共融海河實驗室核心企業(yè)、國務院國資委啟航企業(yè)——中電云腦(天津)科技有限公司承擔的國家重點研發(fā)計劃項目“面向聽視覺認知模式的大自主可控云-邊-端協(xié)作系統(tǒng)研究”課題順利驗收。
項目聚焦聽視覺認知在醫(yī)療場景(兒童ADHD診斷、自閉癥篩查)以及特種場景(如聲吶識別、遙感圖像理解)中的高實時性、高安全可靠性、可分級部署及自主可控等迫切需求,圍繞多模態(tài)神經(jīng)電生理數(shù)據(jù)接入、管理、分析、部署與協(xié)同運行等關鍵環(huán)節(jié),構建形成了覆蓋采集端、邊緣計算平臺和云平臺應用系統(tǒng)在內(nèi)的自主可控云—邊—端協(xié)作體系,為相關技術工程化落地提供了系統(tǒng)支撐。
統(tǒng)一數(shù)據(jù)標準,打通多模態(tài)數(shù)據(jù)壁壘
面向聽覺、視覺及神經(jīng)電生理等多源異構感知數(shù)據(jù),中電云腦構建了統(tǒng)一的數(shù)據(jù)接入、傳輸與存儲標準技術體系,有效解決了多模態(tài)視聽覺數(shù)據(jù)在云-邊-端環(huán)境下接口不統(tǒng)一、格式不兼容、難以互操作等問題。
三級協(xié)同架構,實現(xiàn)模型靈活部署與自適應
針對傳統(tǒng)聽視覺認知模型集中部署于云端或本地單點運行,難以兼顧實時性與靈活性的痛點,中電云腦提出了面向聽視覺應用的云-邊-端三級模型協(xié)同計算框架,支持模型在云側(cè)、邊緣側(cè)與端側(cè)之間的協(xié)同推理、協(xié)同訓練與動態(tài)部署。顯著提升了聽視覺認知系統(tǒng)在復雜應用場景下的準確性、穩(wěn)定性和魯棒性。
動態(tài)協(xié)作管理,貫通數(shù)據(jù)、算力與模型全要素
基于動態(tài)云-邊-端協(xié)作管理機制,中電云腦完成了系統(tǒng)整體層面數(shù)據(jù)、算力與模型三大核心要素的貫通,構建了面向腦電聽視覺認知應用的統(tǒng)一協(xié)作與管理體系。實現(xiàn)了云-邊-端多層資源的動態(tài)協(xié)同優(yōu)化與自適應運行,在保障數(shù)據(jù)安全性與系統(tǒng)實時性的同時,有效提升了資源利用效率。
![]()
課題亮點
全自主可控。圍繞采集、傳輸、存儲、計算、部署和管理等關鍵環(huán)節(jié)進行整體布局。
架構靈活組合。系統(tǒng)既可支持“端—云”模式,也可支持“端—邊—云”模式,能夠根據(jù)不同場景需求靈活部署。
具備模型市場功能。通過模型管理平臺實現(xiàn)模型上傳、下載、管理和共享,依托云端作為模型研究、發(fā)布和調(diào)度核心,可面向終端按需下發(fā)模型,實現(xiàn)模型能力的自由調(diào)配和高效復用。
作為成立于2018年由中央企業(yè)控股的首家腦機接口“國家隊”,高新區(qū)企業(yè)中電云腦通過與天津大學、腦機海河實驗室多年的緊密合作與產(chǎn)學研成功實踐,為相關技術從實驗驗證走向工程化應用奠定了堅實基礎,對推動我國腦機接口產(chǎn)業(yè)高質(zhì)量發(fā)展具有重要意義。
文字、圖片來源:中電云腦、腦機交互與人機共融海河實驗室,轉(zhuǎn)載請注明出處
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.