面向航天測發(fā)任務(wù)的動(dòng)作識(shí)別與追蹤研究

　　摘要：航天測發(fā)任務(wù)精度要求高、任務(wù)周期長，且長期暴露在陽光直射下。為了提高測發(fā)任務(wù)的成功率，在虛擬工作環(huán)境中進(jìn)行無接觸式動(dòng)作標(biāo)定與較正是一種高效的方式。針對航天工作人員動(dòng)作的實(shí)時(shí)檢測與追蹤問題，提出了一種關(guān)鍵幀優(yōu)化的動(dòng)作識(shí)別算法。依據(jù)深度圖像中的骨骼數(shù)據(jù)，提取骨骼特征，并使用特征閾值提取關(guān)鍵幀。將關(guān)鍵幀的特征數(shù)據(jù)輸入雙向長短期記憶神經(jīng)網(wǎng)絡(luò)(Bi-directional Long Short-Term Memory)，優(yōu)化整體動(dòng)作識(shí)別的精確度。數(shù)據(jù)驅(qū)動(dòng)的骨骼識(shí)別與動(dòng)作追蹤，能有效識(shí)別航天工作人員的動(dòng)作，輔助其更高效、安全地完成測發(fā)任務(wù)。

　　本文源自任彬; 汪小雨， 系統(tǒng)仿真學(xué)報(bào) 發(fā)表時(shí)間：2021-06-30

　　關(guān)鍵詞：航天測發(fā)任務(wù);骨骼識(shí)別;關(guān)鍵幀;雙向長短期記憶神經(jīng)網(wǎng)絡(luò);動(dòng)作追蹤

　　引言

　　航天測發(fā)任務(wù)時(shí)間長、風(fēng)險(xiǎn)高、光照強(qiáng)度變化劇烈，且需要極高的作業(yè)精度。所以，對航天員的動(dòng)作進(jìn)行精確識(shí)別并加以標(biāo)定成為了關(guān)鍵任務(wù)。 Kinect 是微軟推出的一款 Xbox360 主機(jī)的體感外設(shè)，代表著動(dòng)力學(xué)(Kinetics)與連接(connection)的組合，常用于三維重建和人機(jī)交互等應(yīng)用中。作為一種使用紅外攝像頭的光學(xué)感知設(shè)備，Kinect 不受光照強(qiáng)度的影響，不需隨身攜帶等優(yōu)點(diǎn)[1-4]，使其完全能夠勝任檢測航天工作人員動(dòng)作的任務(wù)。 Kinect 的虛實(shí)交互手段能夠非常直觀地為航天工作人員展現(xiàn)一個(gè)虛擬工作環(huán)境[5-7]，為精確判斷真實(shí)環(huán)境及人員操作提供依據(jù)。在對航天測發(fā)任務(wù)的判定中，Kinect 需獲取航天工作人員信息、標(biāo)定航天工作人員位置，最終實(shí)現(xiàn)航天工作人員動(dòng)作的檢測與識(shí)別。

　　通過在三維空間中測量人體運(yùn)動(dòng)的動(dòng)作數(shù)據(jù)，可將 Kinect 采集數(shù)據(jù)輸入計(jì)算機(jī)處理，構(gòu)建人體骨骼的運(yùn)動(dòng)模型，實(shí)現(xiàn)人體骨骼、動(dòng)作、人臉、語音等識(shí)別[8-13]。Alexiadis Dimitrios S 等[14]將 Kinect 應(yīng)用于評(píng)估人體動(dòng)作，通過對比測量關(guān)節(jié)信息和標(biāo)準(zhǔn)動(dòng)作關(guān)節(jié)信息判斷動(dòng)作的精確度。尚華強(qiáng)[15]通過 Kinect 獲取人體骨骼信息，運(yùn)用骨骼信息驅(qū)動(dòng)虛擬人物，完成人體運(yùn)動(dòng)仿真。敖琳[16]使用 Kinect 確立靜態(tài)姿勢骨骼數(shù)據(jù)庫，根據(jù)數(shù)據(jù)庫提取人體各關(guān)節(jié)的三維骨骼信息，用于識(shí)別人體動(dòng)作。國內(nèi)外研究者將數(shù)據(jù)挖掘與深度學(xué)習(xí)算法引入 Kinect 應(yīng)用，提升其圖像的識(shí)別率。Zhu等[19]通過引入深度CNN 網(wǎng)絡(luò)訓(xùn)練長方體模型，證明動(dòng)作識(shí)別的有效性。 Donahue J 等[20]使用融合長時(shí)遞歸層和卷積層的長時(shí) 遞 歸 卷 積 網(wǎng) 絡(luò) ( Long-term recurrent convolutional，LRCN)實(shí)現(xiàn)人體動(dòng)作識(shí)別。

　　本文針對航天測發(fā)任務(wù)中的動(dòng)作安全性等問題，提出了關(guān)鍵幀優(yōu)化的 Bi-LSTM 動(dòng)作識(shí)別算法。依據(jù)航天工作人員相關(guān)動(dòng)作的人體骨骼數(shù)據(jù)，獲取骨骼特征。通過引入特征閾值，提取連貫動(dòng)作中的關(guān)鍵幀，優(yōu)化動(dòng)作識(shí)別的效率與準(zhǔn)確度。雙向長短期 記 憶 人 工 神 經(jīng) 網(wǎng) 絡(luò) (Bi-directional Long Short-Term Memory, Bi-LSTM) [21-23]可實(shí)現(xiàn)動(dòng)作識(shí)別與優(yōu)化，通過 Kinect 數(shù)據(jù)驅(qū)動(dòng) Unity3D 完成動(dòng)作的模擬。此方法能夠?qū)崟r(shí)觀測、模擬與評(píng)估特定環(huán)境中航天工作人員的特定動(dòng)作。

　　1 骨骼識(shí)別與特征提取

　　1.1 人體骨骼特征提取

　　依據(jù)航天工作人員深度圖像，實(shí)現(xiàn)骨骼識(shí)別，表示為：? ?? ? ? ? , I I I I u v f I x d x d x d x d x ?? ? ? ?? ? ? ? ? ? ? ?? ? ? ? ? ? ? ? (1) 其中，x 為像素值，dI(x)為像素值處于圖像中的深度值，參數(shù) θ=(u，v)，u 與 v 是一對偏移向量， 1/dI(x)是偏移正規(guī)化，用于人體尺寸縮放處理[24]。

　　選取 Kinect 獲取的航天工作人員骨骼的 25 個(gè)關(guān)節(jié)點(diǎn)中對人體動(dòng)作時(shí)影響較大的 8 個(gè)關(guān)節(jié)點(diǎn)：左肘、右肘、左腕、右腕、左膝、右膝、左腳踝、右腳踝。計(jì)算這 8 個(gè)關(guān)節(jié)點(diǎn)與脊柱底部(1)的距離組成特征。定義為：d1,i(i=6,7,10,11,14,15,18,19)。通過引入脊柱長度 d1,21，消除因身高不同而造成的特征差異，表示為：

　　身高特征 H、實(shí)時(shí)觀測時(shí)頭頂距離腳底的實(shí)時(shí)高度 h 也為人體重要評(píng)估數(shù)據(jù)，分別表示為：? ? 1 4 1 3 1 5 1 7 1 9 1 + + 2 H d d d ? , , , (3) 4 , (1 9 ,1 5 ) m id h d ? (4) 其中，mid(19,15)為 19、15 的空間坐標(biāo)中點(diǎn)。通過公式(3)、(4)，消除特征差異，生成 τH、τh。

　　依據(jù)不同動(dòng)作，提取對應(yīng)角度特征，如圖 2 所示。

　　根據(jù)右肩(圖 2 中點(diǎn) 9)、右肘(圖 2 中點(diǎn) 10)、右腕(圖 2 中點(diǎn) 11)的坐標(biāo)，可求出其關(guān)節(jié)向量：? ? ? ? 1 1 1 0 1 0 1 0 1 0 1 1 1 1 1 1 n x y z x y z ? ? , , , , (5) ? ? ? ? 9 1 0 1 0 1 0 1 0 9 9 9 n x y z x y z ? ? , , , , (6) 依據(jù)關(guān)節(jié)向量，求得其角度特征： 9 1 1 1 0 1 0 9 1 1 1 0 1 0 a rc c o s R H ? ? n n n n (7)

　　依據(jù)骨骼數(shù)據(jù)共提取 9 個(gè)長度特征和8 個(gè)角度特征，如圖 3 所示。

　　9 個(gè)長度特征和 8 個(gè)角度特征，加上身高特征 τH。共 10 個(gè)長度特征與 8 個(gè)角度特征。定義為： 1 , 6 1 ,1 9 , , , , , , , H h L B R X F ? ? ? ? ? ? ? ? ?? ? (8)

　　1.2 人體動(dòng)作的關(guān)鍵幀

　　關(guān)鍵幀是一個(gè)人在一個(gè)動(dòng)作中體現(xiàn)肢體變化的幀。一個(gè)動(dòng)作中，動(dòng)作骨骼數(shù)據(jù)過于密集，前后幀之間變化過小，不利于動(dòng)作識(shí)別。因此，通過提取關(guān)鍵幀的方法篩選關(guān)鍵數(shù)據(jù)，用于提升動(dòng)作識(shí)別的準(zhǔn)確度與效率。

　　第一步，將第一幀作為第一個(gè)關(guān)鍵幀索引值;第二步，重置角度誤差累計(jì)值 Sum;第三步，計(jì)算前后兩幀 αj=[αLBj,…,αRXj]、 αk=[αLBk,…,αRXk]的角度誤差值 St，將 St累計(jì)至 Sum，表示為：? ? ? ? 2 2 t L B k L B j R X k R X j S ? ? ? ? ? ? ? ? ? (9) t S u m S u m S ? ? (10)

　　第四步，逐幀累計(jì)至第 n 幀時(shí)，若 Sum 超過特征閾值 sum_s，則 n 為下一個(gè)關(guān)鍵幀的索引值，并將第 n+1 幀設(shè)為下一關(guān)鍵幀初始，返回第二步。

　　最后，依據(jù)索引位置提取出動(dòng)作識(shí)別所需關(guān)鍵幀;使用關(guān)鍵幀的特征 F 實(shí)現(xiàn)動(dòng)作識(shí)別。

　　2 Bi-LSTM 算法中的動(dòng)作識(shí)別

　　人體動(dòng)作的骨骼數(shù)據(jù)包含明顯的時(shí)序特征。依據(jù)提取的關(guān)鍵幀骨骼數(shù)據(jù)的特征，搭建 Bi-LSTM 分類器，用于分類識(shí)別動(dòng)作。

　　神經(jīng)網(wǎng)絡(luò)輸入為某個(gè)動(dòng)作的骨骼特征數(shù)據(jù)。每個(gè)動(dòng)作的數(shù)據(jù)包含 7 到100 幀不等的關(guān)鍵幀對應(yīng)數(shù)據(jù)。每個(gè)關(guān)鍵幀數(shù)據(jù)為對應(yīng)幀的 18 維骨骼數(shù)據(jù) F。輸入網(wǎng)絡(luò)之前需要?jiǎng)h除無效數(shù)據(jù)。

　　將處理后數(shù)據(jù)輸入 Bi-LSTM 分類器訓(xùn)練，用于動(dòng)作識(shí)別，如圖 4 所示。

　　本文采用基于時(shí)間序列的神經(jīng)網(wǎng)絡(luò)，并使用實(shí)際 Kinect 采集的數(shù)據(jù)，驗(yàn)證訓(xùn)練網(wǎng)絡(luò)的準(zhǔn)確性。

　　該數(shù)據(jù)集包含 60 種人類動(dòng)作(40 類日常動(dòng)作、 9 類健康動(dòng)作、11 類雙人動(dòng)作)與 56880 個(gè)視頻樣本，比如：站立、坐下、揮手、跳躍等。該數(shù)據(jù)集通過三個(gè)角度采集志愿者的深度信息、骨骼信息等。本文采用數(shù)據(jù)集中的 3D 骨骼(身體節(jié)點(diǎn)，如圖 1 所示)數(shù)據(jù)驗(yàn)證動(dòng)作的準(zhǔn)確性。

　　航天測發(fā)任務(wù)中，航天工作人員動(dòng)作較為繁瑣，且經(jīng)常需要樣本采集等工作。該動(dòng)作中，工作人員從操控工位出發(fā)到獲取采集樣本的過程共經(jīng)過站立→指向(樣本)→單手揮手(揮手示意)→ 拾取(樣本)→雙手握持(樣本)→雙手并舉(樣本)→行走→坐下等過程。在該動(dòng)作的整個(gè)流程中，由于缺失重力，行走等動(dòng)作不具有代表性。選取其中具有代表性的 7 個(gè)動(dòng)作進(jìn)行識(shí)別，包括：站立、坐下、拾取、指向、單手揮手、雙手握持、雙手并舉。

　　選取 NTU-RGB+D 數(shù)據(jù)集中 7 個(gè)航天測發(fā)任務(wù)相關(guān)動(dòng)作數(shù)據(jù)，提取骨骼特征并識(shí)別關(guān)鍵幀，作為訓(xùn)練集輸入 Bi-LSTM 模型。7 個(gè)動(dòng)作共 2341 個(gè)時(shí)間段數(shù)據(jù)。訓(xùn)練模型中，設(shè)置學(xué)習(xí)率為 0.0001，隱藏單元為 100，以小批量 20 訓(xùn)練 100 次。

　　使用 Kinect 采集的實(shí)時(shí)數(shù)據(jù)作為測試集驗(yàn)證訓(xùn)練模型。

　　使用 Kinect 采集圖像，用于獲取人體骨骼數(shù)據(jù)，如圖 6 所示。分別采集 5 個(gè)人的站立、坐下、拾取、指向、單手揮手、雙手并舉、雙手握持等 7 個(gè)動(dòng)作，標(biāo)記為動(dòng)作 1~7。每個(gè)動(dòng)作均采集 100 組數(shù)據(jù)。

　　采集獲取 7 種動(dòng)作骨骼，如圖 6 所示。通過對 700 組數(shù)據(jù)進(jìn)行特征與關(guān)鍵幀提取，獲得關(guān)鍵幀特征數(shù)據(jù)，用于驗(yàn)證算法模型對動(dòng)作的識(shí)別準(zhǔn)確率。

　　Kinect 采樣頻率為 90ms/次。設(shè)置閾值 sum_s 在 0.1~0.25 之間以 0.01 為梯度提取關(guān)鍵幀，每段時(shí)間的關(guān)鍵幀個(gè)數(shù)為 7 至 100 幀不等，如表 3 所示。

　　由表 3，分析可得如下結(jié)論：

　　(1)sum_s = 0，通過原始數(shù)據(jù)訓(xùn)練 Bi-LSTM 模型。由于相鄰幀數(shù)據(jù)變化量過小，數(shù)據(jù)可辨別性缺失，在此學(xué)習(xí)率與訓(xùn)練批量下動(dòng)作識(shí)別率為 0。應(yīng)降低學(xué)習(xí)率或降低訓(xùn)練批量，用于提高訓(xùn)練次數(shù)，完成識(shí)別。但這會(huì)大幅度增加識(shí)別時(shí)間，與真實(shí)航天測發(fā)任務(wù)要求相違背;

　　(2)動(dòng)作 1、動(dòng)作 2、動(dòng)作 3、動(dòng)作 7 識(shí)別率穩(wěn)定在 0.9 左右，識(shí)別率高，識(shí)別相對容易;

　　(3)sum_s 低于 0.13 或高于 0.16 時(shí)，動(dòng)作 4 識(shí)別率過低，不適合。故閾值在 0.13~0.16 之間識(shí)別率達(dá)到最佳。

　　取 sum_s = 0.14 。 對相 同 訓(xùn) 練 參 數(shù) 下 的 LSTM[23]、雙層 LSTM[25]、GRU[26]、雙層 GRU[27]、 LRCN[20]訓(xùn)練模型進(jìn)行對比驗(yàn)證。

　　表 4、表 5 分別為 6 種模型的動(dòng)作識(shí)別率與綜合識(shí)別率。圖 7、圖 8、圖 9 分別為 LSTM、雙層 LSTM、Bi-LSTM 三種模型的動(dòng)作識(shí)別混淆矩陣。

　　分析得出如下結(jié)論：

　　(1)LRCN 是將 CNN 融入 LSTM，需對數(shù)據(jù)進(jìn)行時(shí)間同步化處理：依據(jù)最短時(shí)間步長，對整體數(shù)據(jù)幀率進(jìn)行分割。分割后，數(shù)據(jù)丟失率過高，算法不收斂;

　　(2)對于動(dòng)作 1，識(shí)別率 Bi-LSTM > 雙層 LSTM > LSTM > GRU > 雙層 GRU;

　　(3)對于動(dòng)作 2、動(dòng)作 3，5 種網(wǎng)絡(luò)模型的識(shí)別率均較高;

　　(4)對于動(dòng)作 4，識(shí)別率 Bi-LSTM > 雙層 LSTM > LSTM > 雙層 GRU > GRU。依據(jù)圖 7~圖 9，LSTM 與雙層 LSTM 較容易將動(dòng)作 4 識(shí)別為動(dòng)作 5 或動(dòng)作 6，而在 Bi-LSTM 中，識(shí)別錯(cuò)誤率明顯減少;

　　(5)對于動(dòng)作 5、動(dòng)作 6，5 種模型識(shí)別率接近，在 0.65~0.81 之間;

　　(6)對于動(dòng)作 7，識(shí)別率 Bi-LSTM > 雙層 GRU ≈ LSTM > GRU ≈ 雙層 LSTM。Bi-LSTM 識(shí)別率顯著提高;

　　(7)綜合識(shí)別率：Bi-LSTM > 雙層 LSTM ≈ LSTM > GRU > 雙層 GRU > LRCN。其中，LRCN 算法不適合數(shù)據(jù)驅(qū)動(dòng)的動(dòng)作識(shí)別，Bi-LSTM 在識(shí)別動(dòng)作中達(dá)到最優(yōu)。

　　針對航天工作人員，Kinect 數(shù)據(jù)驅(qū)動(dòng)動(dòng)作識(shí)別的算法中，Bi-LSTM 的綜合識(shí)別率最高。7 種動(dòng)作中，站立、坐下、拾取動(dòng)作的識(shí)別率較高，在 0.9~1 之間;單手揮手、雙手并舉動(dòng)作的識(shí)別率在 0.7~0.8 之間;對于指向與雙手握持動(dòng)作，Bi-LSTM 算法的識(shí)別率明顯優(yōu)于其他算法，且在關(guān)鍵幀提取特征閾值 sum_s = 0.13~0.16 時(shí)收斂。

　　3 數(shù)據(jù)驅(qū)動(dòng)的 Kinect 動(dòng)作追蹤

　　移動(dòng) Kinect 設(shè)備，使人體在其視野中位于最佳位置，以 Kinect 數(shù)據(jù)驅(qū)動(dòng) Unity3D 人體模型實(shí)現(xiàn)動(dòng)作追蹤。通過在 Unity 中建立一個(gè)虛擬人物模型與控制器腳本，將 Kinect 實(shí)時(shí)測得的人體數(shù)據(jù)與 Unity3D 中的環(huán)境變量綁定，實(shí)現(xiàn)虛擬人物模型對于實(shí)驗(yàn)者動(dòng)作的實(shí)時(shí)模擬。

　　Kinect 的視野呈錐形，對人體的識(shí)別有一個(gè)最佳識(shí)別區(qū)(距離 Kinect 0.8m 到 4m 的距離，橫向左右各為 2.5m，高度上下各 2m)。如圖 10 所示，調(diào)節(jié) Kinect 離地高度為 0.9m，距離人體距離為 2.4m，使人體剛好位于視野正中央。

　　圖 11(a)為普通相機(jī)采集的動(dòng)作數(shù)據(jù)，通過 Kinect 獲取圖 11(b)所示深度數(shù)據(jù)與圖 11(c)所示骨骼數(shù)據(jù)。依據(jù)骨骼數(shù)據(jù)與算法，識(shí)別動(dòng)作為坐下;最終利用數(shù)據(jù)在 Unity3D 中實(shí)現(xiàn)動(dòng)作模擬，如圖 11(d)所示。

　　通過 Kinect 數(shù)據(jù)驅(qū)動(dòng) Unity3D 人體模型，不僅能對航天工作人員的當(dāng)前行為進(jìn)行判斷，而且能對特殊環(huán)境中工作人員的動(dòng)作進(jìn)行模擬規(guī)劃，避免危險(xiǎn)事故的發(fā)生。

　　4 結(jié)論

　　針對航天測發(fā)任務(wù)中的動(dòng)作安全性等問題，提出了關(guān)鍵幀優(yōu)化的 Bi-LSTM 動(dòng)作識(shí)別算法。并借由 Unity3D 平臺(tái)，實(shí)現(xiàn)了對動(dòng)作的模擬。具體包括：

　　(1)確定航天測發(fā)任務(wù)，通過人體骨骼數(shù)據(jù)特征，實(shí)現(xiàn)關(guān)鍵幀提取;

　　(2)針對原始數(shù)據(jù)辨別性差、訓(xùn)練時(shí)間長的問題，使用關(guān)鍵幀數(shù)據(jù)實(shí)現(xiàn)對航天工作人員的動(dòng)作識(shí)別;

　　(3)針對人體動(dòng)作識(shí)別精度不高的問題，使用 Bi-LSTM 神經(jīng)網(wǎng)絡(luò)分類器，提高航天工作人員常規(guī) 7 個(gè)動(dòng)作的識(shí)別精確度。

　　在航天測發(fā)任務(wù)中，需要及時(shí)判斷工作人員的動(dòng)作是否安全、是否符合標(biāo)準(zhǔn)，也需要在特殊環(huán)境中對工作人員進(jìn)行動(dòng)作規(guī)劃，輔助其更高效、安全地完成相關(guān)作業(yè)。本文提出的動(dòng)作識(shí)別與追蹤方法，為檢測航天工作人員動(dòng)作、標(biāo)定航天工作人員位置、獲取航天工作人員信息，提供了一種解決思路。