安徽省農(nóng)信社：基于AI技術(shù)的運維安全監(jiān)測研究

來源：2025年度農(nóng)村金融機構(gòu)科技創(chuàng)新優(yōu)秀案例評選

獲獎單位：安徽省農(nóng)信社

榮獲獎項：信息安全創(chuàng)新優(yōu)秀案例

一、項目背景

（一）項目背景

在數(shù)字化浪潮下，安徽省農(nóng)村信用社聯(lián)合社（以下簡稱“省農(nóng)信社”）信息系統(tǒng)運維安全面臨嚴(yán)峻挑戰(zhàn)：運維誤操作可能引發(fā)客戶資金損失、數(shù)據(jù)泄露等風(fēng)險，而現(xiàn)有堡壘機每日產(chǎn)生500小時審計視頻，依賴人工全量稽核存在稽核人員水平參差不齊、風(fēng)險識別效率低、安全管理滯后（事故數(shù)天或數(shù)周后才察覺）等三大痛點。盡管引入了防火墻、入侵檢測系統(tǒng)等安全產(chǎn)品，但傳統(tǒng)人工稽核模式已無法滿足運維安全高效管控需求。

（二）項目目標(biāo)

1.替代傳統(tǒng)人工抽查，實現(xiàn)審計視頻全量自動化稽核，為運維安全監(jiān)測提供科學(xué)依據(jù)；

2.構(gòu)建特定威脅事件場景（如：打開SAP財管軟件、批處理作業(yè)）的安全監(jiān)測模型，精準(zhǔn)定位高危操作；

3.搭建機器學(xué)習(xí)訓(xùn)練平臺，支持模型全生命周期管理，實現(xiàn)威脅事件模型自主拓展，推動成果落地應(yīng)用。

二、項目方案

（一）總體架構(gòu)

圖1研究產(chǎn)出示意拓?fù)鋱D

系統(tǒng)由三大核心模塊構(gòu)成：非侵入式智能化操作平臺、行為監(jiān)測算法模塊、機器學(xué)習(xí)訓(xùn)練平臺。三者協(xié)同實現(xiàn)“數(shù)據(jù)采集-行為識別-風(fēng)險預(yù)警-模型優(yōu)化”閉環(huán)：操作平臺采集審計視頻，算法模塊識別風(fēng)險行為，訓(xùn)練平臺持續(xù)優(yōu)化模型，保障系統(tǒng)高效、精準(zhǔn)運行。

（二）關(guān)鍵技術(shù)實現(xiàn)

1.非侵入式智能化操作技術(shù)

通過HDMI接口采集終端屏幕圖像，HID技術(shù)模擬鍵鼠操作；開發(fā)表格識別、驗證碼識別算法，還原圖像中文本、數(shù)字信息；構(gòu)建可視化流程編排引擎，支持判斷、等待、循環(huán)等任務(wù)節(jié)點，實現(xiàn)自動化操作。

圖2流程引擎主要功能

2.行為監(jiān)測算法

基于CNN-LSTM模型進(jìn)行時序視頻幀識別，每段視頻拆分為不超過10秒的動作片段提升訓(xùn)練有效性；采用最大幀間差法計算相鄰幀像素差值，自適應(yīng)提取關(guān)鍵幀，減少數(shù)據(jù)量；模型在自有數(shù)據(jù)集上準(zhǔn)確率達(dá)80%-90%。

圖3基于時序的視頻幀序列識別網(wǎng)絡(luò)架構(gòu)示意圖

圖4模型采用的視頻數(shù)據(jù)集說明

3.機器學(xué)習(xí)訓(xùn)練平臺

應(yīng)用流水線技術(shù)，集成數(shù)據(jù)管理、模型訓(xùn)練、超參數(shù)優(yōu)化、部署服務(wù)功能；支持多種算法集成與標(biāo)準(zhǔn)化組件，關(guān)聯(lián)數(shù)據(jù)與模型版本；提供圖形化界面，展示訓(xùn)練指標(biāo)（準(zhǔn)確率、損失值），實現(xiàn)模型一鍵發(fā)布至操作平臺。

圖5模型損失與準(zhǔn)確率隨訓(xùn)練輪次的波動曲線

圖6模型生產(chǎn)全流程示意圖

三、創(chuàng)新點

（一）非侵入式運維安全監(jiān)測技術(shù)突破

采用HDMI+OTG非侵入式方案，無需在終端安裝插件，實現(xiàn)硬件無關(guān)、系統(tǒng)無關(guān)的自動化操作與視頻采集，避免傳統(tǒng)侵入式方案對系統(tǒng)安全性的影響。通過計算機視覺技術(shù)（圖像匹配、行為識別），完成審計視頻全量稽核，解決人工稽核覆蓋不全問題，同時保障數(shù)據(jù)不出局，符合金融數(shù)據(jù)安全要求。

（二）時序分析的行為監(jiān)測算法優(yōu)化

創(chuàng)新結(jié)合CNN-LSTM混合模型與動態(tài)幀優(yōu)化技術(shù)：CNN提取單幀操作特征，LSTM捕捉跨幀時序行為模式；采用最大幀間差法提取關(guān)鍵幀，去除60%冗余數(shù)據(jù)，推理效率提升近10倍。同時，模板匹配與深度學(xué)習(xí)協(xié)同，兼顧已知風(fēng)險高效檢出與新型異常快速響應(yīng)，實現(xiàn)分鐘級風(fēng)險預(yù)警。

（三）全流程自動化機器學(xué)習(xí)平臺

構(gòu)建標(biāo)準(zhǔn)化機器學(xué)習(xí)流水線，支持從數(shù)據(jù)采集、預(yù)處理、模型訓(xùn)練到部署的全流程自動化。運維人員僅需更新指定位置訓(xùn)練視頻，即可觸發(fā)模型自動進(jìn)化，將常規(guī)模型開發(fā)人力投入降低80%，迭代周期壓縮至6小時級，解決模型開發(fā)滯后于威脅演進(jìn)的問題。

四、項目過程管理

項目立項與籌備階段（2024年7月-9月）：完成立項、需求分析、方案設(shè)計，采購HDMI采集卡、HID模擬設(shè)備等硬件，搭建實驗環(huán)境；

關(guān)鍵技術(shù)研究與算法開發(fā)階段（2024年9月-11月）：攻克非侵入式操作技術(shù)，開發(fā)表格識別、驗證碼識別算法；完成CNN-LSTM行為監(jiān)測模型及關(guān)鍵幀提取算法開發(fā)與測試；

平臺開發(fā)與集成階段（2024年11月-12月）：搭建機器學(xué)習(xí)訓(xùn)練平臺，集成三大模塊，完成功能測試與性能測試；

系統(tǒng)上線與試運行階段（2024年12月）：系統(tǒng)正式上線，輸出每日值班日常合規(guī)性檢查報告（含用戶名、視頻時間、事件名稱及次數(shù)），試運行期間穩(wěn)定運行。

五、技術(shù)實現(xiàn)特點及優(yōu)勢

（一）非侵入式智能化操作理論的創(chuàng)新應(yīng)用

本項目基于“無植入式人機交互”理論，在運維安全監(jiān)測領(lǐng)域創(chuàng)新性地提出了基于計算機視覺和人工智能技術(shù)的非侵入式智能化操作方法。傳統(tǒng)的運維監(jiān)測通常依賴于侵入式軟件或硬件代理，存在安全風(fēng)險，而本項目通過HDMI和HID交互引擎模擬鼠標(biāo)鍵盤輸入實現(xiàn)系統(tǒng)級操作控制，實現(xiàn)了硬件無關(guān)、系統(tǒng)無關(guān)的全流程自動化操作，避免傳統(tǒng)自動化技術(shù)對目標(biāo)終端的代碼侵入，保障系統(tǒng)安全性與穩(wěn)定性。本項目開發(fā)的自動化操作工作平臺通過設(shè)計基于時空關(guān)聯(lián)的任務(wù)編排理論，支持復(fù)雜業(yè)務(wù)流程的智能化分解與重組，實現(xiàn)跨平臺操作的端到端自動化執(zhí)行。這一理論突破為非侵入式運維安全監(jiān)測提供了新的研究范式，有助于推動計算機視覺在遠(yuǎn)程控制、智能審計和自動化運維等領(lǐng)域的應(yīng)用發(fā)展。

（二）基于時序分析的視頻行為識別理論

傳統(tǒng)的視頻行為識別方法大多依賴于單幀圖像的特征提取，而本項目基于時序分析，提出了結(jié)合模板匹配與LSTM神經(jīng)網(wǎng)絡(luò)的視頻幀序列識別方法。該方法通過卷積神經(jīng)網(wǎng)絡(luò)（CNN）提取視頻幀圖像的靜態(tài)特征，同時利用長短期記憶網(wǎng)絡(luò)（LSTM）建模用戶操作行為的時間動態(tài)特征，從而在視頻序列中準(zhǔn)確識別特定的操作模式，提高對威脅事件的監(jiān)測精準(zhǔn)度。此外，通過采用將完整視頻拆分為不同動作片段的方式（每段不超過10秒），顯著提升訓(xùn)練數(shù)據(jù)的有效性，提高模型對不同操作步驟的識別能力。該理論創(chuàng)新填補了時序行為監(jiān)測在智能審計領(lǐng)域的空白，提升了人工智能在自動化審計和異常檢測方向的適用性和有效性。

（三）機器學(xué)習(xí)訓(xùn)練流水線的自主適應(yīng)能力

本項目構(gòu)建了智能學(xué)習(xí)訓(xùn)練平臺，結(jié)合機器學(xué)習(xí)流水線技術(shù)，提出了模型全生命周期管理的理論體系。一是支持私有化部署環(huán)境下的動態(tài)資源分配與高效數(shù)據(jù)管理，通過分層解耦設(shè)計實現(xiàn)模型訓(xùn)練、調(diào)優(yōu)與部署的全流程自動化；二是學(xué)習(xí)訓(xùn)練平臺通過圖形化界面展示訓(xùn)練過程，提供直觀的模型評估手段，提高用戶的可操作性；三是構(gòu)建了多模態(tài)數(shù)據(jù)融合理論模型，針對不同威脅事件場景；四是建立差異化特征提取機制，解決動態(tài)界面與靜態(tài)操作的統(tǒng)一建模難題。

六、運營情況

系統(tǒng)已在安徽省農(nóng)信社信息技術(shù)中心推廣，用于審計視頻自動化稽核與風(fēng)險監(jiān)測。運維人員通過平臺查閱每日操作視頻（篩選時間、主機地址、播放/關(guān)閉視頻）系統(tǒng)自動輸出PDF格式稽核報告，無需人工干預(yù)。系統(tǒng)支持每日500+小時視頻全量處理，關(guān)鍵幀提取率10%-20%，打開SAP財管軟件、批處理作業(yè)兩個場景監(jiān)測準(zhǔn)確率穩(wěn)定，機器人可準(zhǔn)確識別并記錄事件，從操作發(fā)生到分析結(jié)果生成延遲滿足實時監(jiān)測需求，系統(tǒng)穩(wěn)定運行率99.9%以上。

七、項目成效

（一）經(jīng)濟效益

1.人力成本節(jié)省：傳統(tǒng)人工日均處理4.21GB視頻，需12人天處理50GB日均視頻；系統(tǒng)僅需1人天，月均節(jié)省11人月，按技術(shù)人員人月2萬元計算，年節(jié)省264萬元；

2.運維成本降低：減少誤操作導(dǎo)致的系統(tǒng)修復(fù)成本，降低安全事故經(jīng)濟損失。

（二）社會效益

1.提升運維安全水平：實現(xiàn)審計視頻全量稽核，風(fēng)險識別從“滯后”轉(zhuǎn)為“實時預(yù)警”，保障客戶資金與數(shù)據(jù)安全；

2.樹立行業(yè)標(biāo)桿：為農(nóng)村金融機構(gòu)提供可復(fù)制的AI運維安全方案，推動金融科技在運維領(lǐng)域的深度應(yīng)用；

3.助力數(shù)字化轉(zhuǎn)型：通過自動化、智能化技術(shù)，提升安徽省農(nóng)信社科技運維能力，為業(yè)務(wù)高質(zhì)量發(fā)展奠定安全基礎(chǔ)。

八、經(jīng)驗總結(jié)

本項目成功的核心在于“需求導(dǎo)向+技術(shù)創(chuàng)新+協(xié)同研發(fā)”：以安徽省農(nóng)信社實際運維痛點為出發(fā)點，聯(lián)合中國科技大學(xué)攻克非侵入式技術(shù)、時序算法等關(guān)鍵難題，實現(xiàn)技術(shù)與業(yè)務(wù)深度融合。項目成果不僅解決當(dāng)前稽核效率問題，更通過機器學(xué)習(xí)平臺保障可持續(xù)性，可拓展至更多威脅場景。未來，可進(jìn)一步擴大非侵入式操作平臺應(yīng)用場景（如智能審計、遠(yuǎn)程控制），優(yōu)化模型泛化能力，推動農(nóng)村金融運維安全向更高水平發(fā)展。

更多金融科技案例和金融數(shù)據(jù)智能優(yōu)秀解決方案，請在數(shù)字金融創(chuàng)新知識服務(wù)平臺-金科創(chuàng)新社案例庫、選型庫查看。