人工智能普及 | 探秘人體姿態識別 ——打造多功能人工智能皮影機器人

作者

劉 梅

山東省淄博第一中學

“一口道盡千年事，雙手對舞百萬兵”，傳統皮影戲因其操作復雜、對表演者技藝要求嚴苛，加之缺乏足夠的交互性，難以與觀眾建立深入的互動，阻礙了這一傳統藝術的傳承與發展。本項目基于人體姿態識別技術，實現“無接觸式”的皮影戲互動表演，旨在利用人工智能技術創新皮影戲文化。

課程目標

課程通過4個子項目帶領學生學習人體姿態識別技術的原理及應用。通過人體姿態數據采集、模型訓練、模型調用、模型優化、模型部署等環節，帶領學生親歷完整的人工智能模型訓練流程。

學情分析

本項目授課對象為高中二年級學生，已具備一定的 Python編程基礎與開源硬件操作經驗，在前期參與過人工智能相關項目的開發。

課程設計

以“打造多功能人工智能皮影機器人”為主題，包含4個子項目，共計7個課時，在真實的項目情境下，帶領學生依次完成核心知識的學習，課程安排如圖1所示。

圖 1 課程安排

教學準備

軟件工具

XEdu安裝包、半成品代碼。

硬件工具

攝像頭、Arduino板、舵機、LED小燈、OLED屏、杜邦線。

分組情況

學生2人1組，每組配備1套硬件器材。

實施過程

簡單數學模型構建（以課時1為例）

思考：如何利用簡單手勢控制小燈亮滅？

教師首先為學生表演一段魔術“空中點燈”，隱藏攝像頭后，通過食指與拇指的開合，控制LED小燈亮滅。學生結合手部關鍵點檢測原理，在教師的引導下，將兩指開合問題抽象成平面中兩點之間的距離問題，并結合兩點之間的距離公式，通過編程控制LED小燈亮滅（圖2）。

圖 2 學生利用簡單手勢控制小燈

設計意圖 鑒于后續項目中“機器學習建模”相關內容較為抽象，學生理解起來存在一定困難，因此設置本節課作為前置課程。課程聚焦于引導學生通過“人工搭建簡單數學模型”的實踐過程，助力其深入理解后續機器學習流程中復雜模型訓練與建模的內在邏輯，從而搭建起從“簡單建模”到“復雜建模”的認知階梯，實現有效過渡。

數據集的獲取（以課時3為例）

思考：在機器學習中，數據集的概念及作用是什么？

在機器學習過程中，數據集就如同烹飪所需的原材料，是訓練模型不可或缺的基礎。數據集的獲取方式有很多，本項目中，需要借助攝像頭采集4種特定的手語手勢數據。學生依據分組主題，補全相關代碼，為采集到的手勢數據添加標簽。隨后，利用攝像頭，按照預先設定的命名順序，依次采集多種手語姿態，每種50張，以此構建完整的數據集。

設計意圖 數據采集為模型訓練的首要環節，數據集的質量直接影響后期模型訓練質量。通過本環節，學生可以初步理解數據集的概念及其在模型訓練中的關鍵作用，理解標簽的含義，并動手實踐，體驗自主采集數據集的過程與方法。

復雜模型訓練與優化（以課時4為例）

思考：如何搭建神經網絡進行復雜模型的訓練？如何調整關鍵參數以提高模型訓練質量？

數據獲取及預處理完成后，需要搭建神經網絡進行模型訓練。本項目使用的是LSTM（長短期記憶網絡），這是一種特殊的循環神經網絡（RNN），被廣泛應用于文本分類、姿態估計、語音識別等領域。學生利用model.add()函數補全代碼，添加神經網絡各層，構建完整的LSTM模型架構。學生2人1組，對test_size、epochs等關鍵參數進行差異化賦值，觀察模型訓練中不同關鍵參數對loss（損失函數）與accuracy（準確率）的影響，并在電子學案中做好記錄，進而理解不同參數對模型訓練質量的影響。核心代碼如圖3所示。

圖 3 LSTM 神經網絡搭建核心代碼示例

設計意圖 本項目旨在幫助學生理解機器學習模型訓練的具體流程及不同關鍵參數對模型訓練質量的影響。

模型調用及部署（以課時6為例）

思考：如何結合開源硬件部署訓練得到的模型，以增加模型的交互性與趣味性？

學生按照線路圖連接硬件器材，補全半成品代碼，調用前期訓練生成的h5模型權重文件，結合分支語句，實現不同手語手勢控制不同顏色的小燈亮起、觸發語音播報等（圖4）。

圖 4 模型調用及部署

設計意圖 學生實現了利用開源硬件部署訓練模型的操作，完成了從數據獲取到部署應用的完整機器學習流程。這一過程不僅讓學生對機器學習有了更深刻的理解，也讓他們感受到了技術落地的魅力。

成果展示與總結評價

教師總結項目內容，各小組填寫項目評價量表，展示本組作品，分享設計和實現過程中的心得體會與收獲，以便在后期進一步完善作品。

設計意圖 診斷教學目標達成度，對學生學習效果進行評價。

學習成果

在皮影機器人開發實踐中，學生基于原有功能，創新性地融入語音對話、環境溫濕度監測等功能，打造出兼具趣味交互與實用價值的多功能智能皮影機器人。在實踐合作過程中，學生編程能力顯著提升，掌握了運用技術工具解決實際問題的技巧，創新精神與動手能力得到充分鍛煉，同時信息社會責任感也得以強化。

圖5 學生作品示例

反思與提高

本項目具有極高的趣味性與交互性，且易于拓展。學生如想開發出更多的項目，只需要采集不同類型的人體姿態，并借助更多的軟硬件工具完成部署即可，如開發交警手勢識別裝置、深蹲檢測裝置等。

模型訓練是一個考驗時間與算力的環節，尤其在普通機房這樣的低算力環境下，要讓學生從頭訓練得到1個模型十分困難。本項目中，教師提前訓練好1個完成度約50%的預訓練模型，學生在此基礎上對預訓練模型關鍵參數進行微調，短時間內即可訓練生成新的模型，提高了課堂效率。但學生采集的人體姿態必須與教師進行模型訓練時采集的姿態動作一致，不利于個性化訓練模型。未來教師可提供多種姿態的預訓練模型，供學生選擇使用，從而生成更加多樣化的成果。

本文系淄博市教育科學“十四五”規劃課題“基于跨學科理念的普通高中人工智能項目教學實踐研究”（課題批準號:2025ZJY029）階段性研究成果

微店訂閱流程

step 1

step 2

點擊圖片直接跳小程序

來源 | 《中國科技教育》2025-06

編輯 | 孟想

審校 | 若惜、朱志安