編者按在電力行業(yè)中，異常危險(xiǎn)行為報(bào)警對(duì)于防范安全事故至關(guān)重要。傳統(tǒng)人工視頻監(jiān)控方法需耗費(fèi)大量人力，且存在準(zhǔn)確度低與實(shí)時(shí)性較差的問題。近年來(lái)，基于圖像的人體行為識(shí)別算法研究成為熱點(diǎn)，相關(guān)技術(shù)逐步在醫(yī)療、安防、人機(jī)交互等領(lǐng)域得到應(yīng)用。這些為行為識(shí)別算法在電力行業(yè)中的應(yīng)用，為開展電力人員異常行為監(jiān)測(cè)提供了可能性。《中國(guó)電力》2023年第11期刊發(fā)了周震震等人撰寫的《基于分組查詢注意力的可擴(kuò)展電力人員行為分類方法》一文。文章提出了一種基于姿態(tài)估計(jì)和Transformer的編碼器解碼器架構(gòu)的行為識(shí)別算法，構(gòu)建基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)模型，根據(jù)姿態(tài)估計(jì)結(jié)果輸入基于Transformer的行為分類模型并判斷人員行為。
電力人員行為識(shí)別是電力系統(tǒng)安全運(yùn)維的重要環(huán)節(jié)，現(xiàn)有的人員行為識(shí)別算法主要采用支持向量機(jī)和多層感知機(jī)進(jìn)行行為分類，存在識(shí)別精度低、未考慮人體骨架之間交互關(guān)系、遷移性、通用性差等問題。針對(duì)上述問題，提出一種基于自注意力與交叉注意力機(jī)制的行為分類解碼器，充分考慮了人體骨架之間的關(guān)聯(lián)。其分類精度相比傳統(tǒng)分類方法提升10%~20%，較深度學(xué)習(xí)多層感知機(jī)（multilayer perceptron，MLP）分類方法提升2%以上。該方法運(yùn)用編碼器-解碼器架構(gòu)的二階段方法進(jìn)行行為識(shí)別，使得解碼器可以適用于任意姿態(tài)估計(jì)，網(wǎng)絡(luò)后端具有很強(qiáng)的可擴(kuò)展性。此外，采用分組解碼的方式克服了注意力機(jī)制帶來(lái)的二次方復(fù)雜度，使得該解碼器可以擴(kuò)展到更多行為類別，具有更好的普適性。該行為識(shí)別算法能夠在基于變電站工作場(chǎng)景下的人員圖像數(shù)據(jù)集驗(yàn)證中達(dá)到優(yōu)異的識(shí)別效果，綜合識(shí)別率達(dá)91.1%，驗(yàn)證了所提電力人員行為分類方法的有效性和適用性。
本文所提出的基于姿態(tài)估計(jì)的行為分類方法，其通用性主要表現(xiàn)在2個(gè)方面：一是第1階段算法的可擴(kuò)展設(shè)計(jì)；二是行為識(shí)別類別的可擴(kuò)展設(shè)計(jì)。一方面，由于整體算法結(jié)構(gòu)可以認(rèn)為是2階段網(wǎng)絡(luò)結(jié)構(gòu)，而第1階段可以選用任意姿態(tài)估計(jì)算法，將其輸出按照特定形式輸入本文提出的行為分類模型即可實(shí)現(xiàn)人員行為識(shí)別，無(wú)須對(duì)其進(jìn)行復(fù)雜的改進(jìn)，從而有效避免算法實(shí)現(xiàn)過程煩瑣的問題。同理，第2階段算法也可使用行人重識(shí)別等特征提取網(wǎng)絡(luò)，使用本文分類方法也可完成行為分類任務(wù)。另一方面，在方法應(yīng)用驗(yàn)證方面，本文主要以電力人員行為識(shí)別為例，實(shí)現(xiàn)了若干電力場(chǎng)景下的人員行為的準(zhǔn)確識(shí)別，但實(shí)際上該行為分類方法可以通過在各類行為數(shù)據(jù)集上訓(xùn)練來(lái)適應(yīng)更多類別的行為識(shí)別任務(wù)。因此，其行為識(shí)別方法本身在應(yīng)用領(lǐng)域方面具有可擴(kuò)展性。除電力人員安全管控外，城市安防監(jiān)控、人機(jī)交互等多個(gè)領(lǐng)域也是本文所提算法的潛在應(yīng)用場(chǎng)景。在圖像領(lǐng)域中獲取全局感受野可以幫助提取更有表征意義的特征，自注意力機(jī)制的核心是捕捉全局的信息來(lái)獲得更大的感受野，但注意力機(jī)制的缺點(diǎn)也很明顯，隨著輸入序列長(zhǎng)度的增加呈現(xiàn)二次復(fù)雜度O(n2)為
式中：n為序列長(zhǎng)度；d為每個(gè)頭的維度；h為頭的數(shù)量。為了解決行為分類解碼器（BC-Decoder）的計(jì)算復(fù)雜度隨著行為分類的增加呈現(xiàn)二次方增長(zhǎng)，本文提出了分組解碼算法以減少參數(shù)量和計(jì)算量。在全解碼中，一個(gè)查詢對(duì)應(yīng)一個(gè)行為類別，而在分組解碼中，一個(gè)查詢通過仿射變換和池化操作對(duì)應(yīng)若干個(gè)行為類別。通過分組解碼操作，提出的行為解碼器和行為類別之間呈現(xiàn)線性復(fù)雜度，在一些需要實(shí)際落地的應(yīng)用場(chǎng)景中有較大的優(yōu)勢(shì)（如邊緣終端）。同時(shí)，在一些行為類別較多且類別之間差異較小的場(chǎng)景中，本文所提的行為解碼器相比傳統(tǒng)行為分類方法有更大的優(yōu)勢(shì)，通過注意力機(jī)制重點(diǎn)關(guān)注不同身體關(guān)節(jié)點(diǎn)之間的相互關(guān)系以提高算法識(shí)別精度。
本文的整體網(wǎng)絡(luò)采用Encoder（編碼器） + Decoder（解碼器） 架構(gòu)。如圖1所示，Encoder可以是任意姿態(tài)估計(jì)網(wǎng)絡(luò)，Decoder部分即本文提出的BC-Decoder。Encoder部分編碼出圖片中所有人員的關(guān)鍵點(diǎn)特征向量，輸入BC-Decoder后，其通過自注意力與交叉注意力機(jī)制將特征向量解碼出人員的行為類別。
Fig.1 Overall structure of the algorithm
本文受到DETR基于查詢的設(shè)計(jì)范式啟發(fā)，允許設(shè)置可學(xué)習(xí)的查詢，每個(gè)查詢解碼一個(gè)不同的行為類別。為了進(jìn)一步降低解碼器的復(fù)雜性，采用了分組解碼的方法。這種設(shè)計(jì)選擇有利于實(shí)現(xiàn)更高效和有效的解碼過程。因?yàn)樗褂玫牟樵償?shù)量可以調(diào)整到較低的數(shù)量以減少計(jì)算時(shí)間和內(nèi)存使用，使BC-Decoder成為實(shí)時(shí)應(yīng)用的合適選擇。此外，可學(xué)習(xí)的查詢?cè)试SBC-Decoder不斷適應(yīng)輸入數(shù)據(jù)的變化，并隨著時(shí)間的推移提高其準(zhǔn)確性。學(xué)習(xí)的查詢，每個(gè)查詢解碼不同的行為類別。
2.1 網(wǎng)絡(luò)結(jié)構(gòu)姿態(tài)估計(jì)任務(wù)具有位置敏感性，為了獲得更精準(zhǔn)的位置信息，算法需要得到高分辨率特征，很多網(wǎng)絡(luò)使用下采樣得到語(yǔ)義信息后上采樣回復(fù)位置信息的做法，但這樣會(huì)丟失大量的有效信息。HRNet采用了多層分辨率分支并行計(jì)算的方法，并且在不同分支中跨分辨率連接進(jìn)行特征交流，同時(shí)維持強(qiáng)語(yǔ)義信息和位置信息，使得預(yù)測(cè)熱圖在空間上更準(zhǔn)確。其網(wǎng)絡(luò)可分為基部（stem）、主體（backbone）、回歸頭（head）3個(gè)部分。基部將原圖分辨率縮小到1/4原圖大小，減少后續(xù)的計(jì)算量；回歸頭則將最后一個(gè)階段得到的各個(gè)特征融合轉(zhuǎn)化成需要的輸出形式；而主體又分為階段層和過渡層，用于提取特征。階段層（stage）主要起到圖像特征提取和多特征融合作用。特征提取模塊使用殘差連接結(jié)構(gòu)，重復(fù)4次，以便更充分地提取特征。多特征融合則由最近鄰上采樣和卷積下采樣實(shí)現(xiàn)。過渡層（transition）在原有分支基礎(chǔ)上增加下采樣分支。對(duì)已有的特征圖進(jìn)行卷積下采樣操作，進(jìn)一步得到具有更豐富語(yǔ)義信息的特征圖。
多個(gè)階段層級(jí)聯(lián)能夠更好地獲得全局和局部的信息。為保持參數(shù)量和精度的平衡，本文將HRNet網(wǎng)絡(luò)結(jié)構(gòu)設(shè)置4個(gè)階段層和3個(gè)過渡層，其網(wǎng)絡(luò)主要部分結(jié)構(gòu)如圖2所示。
Fig.2 Structure of the HRNet
與其他深度學(xué)習(xí)算法類似，損失函數(shù)為均方誤差損失。預(yù)測(cè)的是熱力圖，如果直接使用數(shù)據(jù)集中的單個(gè)真實(shí)標(biāo)記點(diǎn)（ground truth，GT）進(jìn)行計(jì)算，會(huì)由于負(fù)樣本過多導(dǎo)致訓(xùn)練難以收斂，因此需要對(duì)GT作二維高斯分布擴(kuò)展成GT熱力圖。由于不同關(guān)鍵點(diǎn)預(yù)測(cè)難度不同，在計(jì)算總損失的時(shí)候需要對(duì)不同關(guān)鍵點(diǎn)取對(duì)應(yīng)的權(quán)重進(jìn)行計(jì)算。
本文實(shí)現(xiàn)電力人員行為識(shí)別的整體思路為采用姿態(tài)估計(jì)算法結(jié)合相應(yīng)的分類方法。現(xiàn)有研究采用的方法可分為基于傳統(tǒng)方法的分類方法和基于深度學(xué)習(xí)的分類方法。前者存在明顯的準(zhǔn)確率低及參數(shù)依賴性高的缺點(diǎn)，而后者僅停留在采用MLP作為分類模塊進(jìn)行方法設(shè)計(jì)，難以達(dá)到理想效果。本文采用基于注意力機(jī)制和轉(zhuǎn)換器（Transformer）的分類方法，參考DETR在目標(biāo)檢測(cè)任務(wù)中對(duì)查詢模塊（query）的使用方式，設(shè)計(jì)了基于query的行為分類解碼器。該解碼器主要依賴于多頭注意力模塊，而每個(gè)模塊有3個(gè)輸入：查詢向量Q、分組鍵向量K、查詢值向量V。注意力操作可定義為
式中：QKT為查詢向量和鍵向量的點(diǎn)積；dk為向量的維度；fs表示Softmax函數(shù)。
式中：為可學(xué)習(xí)轉(zhuǎn)換矩陣，fc表示多個(gè)特征的拼接，得到結(jié)果MHA(Q, K,V)即多頭注意力輸出。BC-Decoder的結(jié)構(gòu)如圖3所示，模塊有2個(gè)輸入，空間嵌入張量E和一組N個(gè)可學(xué)習(xí)的Query Q，每一個(gè)查詢分別對(duì)應(yīng)一個(gè)行為類別。BC-Decoder通過4個(gè)連續(xù)的階段處理模塊的輸入，分別為自注意力模塊（self-attention）、交叉注意力模塊（cross-attention）、前饋層（feed-forward network，F(xiàn)FN）和序列池化層（token-pooling）。其中，F(xiàn)F為前饋全連接層。另外，標(biāo)記池階段是在序列嵌入的維度D上進(jìn)行簡(jiǎn)單的池化，以產(chǎn)生N個(gè)輸出。
圖3 BC-Decoder結(jié)構(gòu)
Fig.3 Structure of the BC-Decoder
一個(gè)查詢往往對(duì)應(yīng)一個(gè)行為類別，但在一些極端行為分類場(chǎng)景下，類別數(shù)量較多。隨著類別數(shù)量的增加，具有二次復(fù)雜度的解碼器將會(huì)消耗大量計(jì)算資源，并可能會(huì)使模型性能受限。為了減少模型的二次復(fù)雜度，本文提出了分組解碼方法，具體而言，使用交叉注意力模塊和前饋全連接層，并固定分組查詢數(shù)量M，在前饋全連接層之后，通過仿射變換層將分組查詢轉(zhuǎn)換為輸出分類。1）擴(kuò)展每個(gè)分組鍵向量到N/M個(gè)logits。2）沿著嵌入維度池化。定義分組因子g=N/M，那么仿射變換層產(chǎn)生的輸出是logitsLi，即
式中：為第k個(gè)查詢矩陣；第k個(gè)可學(xué)習(xí)的轉(zhuǎn)換矩陣，仿射變換層結(jié)構(gòu)如圖4所示。
Fig.4 Affine layer and pool layer (g= 4)
本文方法的可擴(kuò)展行為分類解碼器可用如式（7）~（10）所示，其中，Gq為輸入分組查詢數(shù)，SA表示將Q1、Q2、Q3通過式（2）（3）得到多頭注意力結(jié)構(gòu)的輸出；CA表示Gq、E、E經(jīng)過多頭注意力機(jī)制的輸出。FF表示Gq1在網(wǎng)絡(luò)中的前向傳播得到Gq2，GMP表示對(duì)Gq2分組進(jìn)行池化，得到輸出結(jié)果L。
觀察式（7）~（10）可知，可擴(kuò)展行為分類解碼器有以下特點(diǎn)。1）當(dāng)g=1時(shí)，稱為全解碼，這意味著每個(gè)查詢對(duì)應(yīng)一個(gè)行為類別；對(duì)應(yīng)的當(dāng)g≠1時(shí)，稱為分組解碼，這意味著每個(gè)查詢對(duì)應(yīng)幾個(gè)行為類別。本文選擇將行為分類隨機(jī)地分成幾組。2）就計(jì)算復(fù)雜度而言，放射變換層計(jì)算量等于全連接層，池化層計(jì)算量是N×D次乘法，可見兩者的計(jì)算量都與分類類別數(shù)N呈現(xiàn)線性關(guān)系。
3）本文所提解碼器計(jì)算量主要來(lái)自自交叉注意力模塊，因?yàn)榻徊孀⒁饬δK會(huì)在2個(gè)不同的輸入序列之間進(jìn)行注意力計(jì)算。可以將編碼器的輸出空間池化到固定的大小，用來(lái)減少圖片尺寸對(duì)計(jì)算復(fù)雜度的影響。
本文采用預(yù)訓(xùn)練微調(diào)的方式對(duì)整體行為識(shí)別算法進(jìn)行訓(xùn)練。具體來(lái)說，姿態(tài)估計(jì)算法部分即Encoder部分本文采用COCO2017公開數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集。MSCOCO數(shù)據(jù)集為姿態(tài)估計(jì)的主流數(shù)據(jù)集，其中包括豐富的具有單/多人、大中小目標(biāo)的圖像，相關(guān)研究都將其作為訓(xùn)練和測(cè)試數(shù)據(jù)集使用。
BC-Decoder部分，本文主要基于私有數(shù)據(jù)集進(jìn)行訓(xùn)練。該數(shù)據(jù)集以變電站等電力場(chǎng)景為主，共有12510張樣本圖片，包含多種室內(nèi)外場(chǎng)景、多種人員工作姿態(tài)（攀爬、跨越、打電話、倒地、托舉），不同人數(shù)分布（單人、多人）等情況，以模擬實(shí)際現(xiàn)場(chǎng)的多種場(chǎng)景，私有數(shù)據(jù)集樣本數(shù)量如表1所示。
表1 私有數(shù)據(jù)集樣本數(shù)量Table 1 Number of private data set samples
4.2 實(shí)現(xiàn)細(xì)節(jié)
本文所提方法的試驗(yàn)環(huán)境配置基于以下平臺(tái)條件：Intel Xeon Gold 6242R處理器（內(nèi)存754 GB）、單張NVIDIA A100（顯存80 GB），Ubuntu18.04操作系統(tǒng)和PyTorch深度學(xué)習(xí)框架。在預(yù)訓(xùn)練階段，訓(xùn)練編碼器解碼器不加入訓(xùn)練，訓(xùn)練輸入圖片大小為384像素×288像素，batch size大小為24，采用Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為1×10–3，學(xué)習(xí)率的調(diào)整方式為MultiStep，下降點(diǎn)為170和200，下降率設(shè)置為0.1，一共訓(xùn)練了210個(gè)周期。在微調(diào)階段，固定編碼器僅訓(xùn)練解碼器，學(xué)習(xí)率設(shè)置為1×10–5，學(xué)習(xí)率的調(diào)整方式為余弦退火，batch size大小為128，權(quán)重衰減為1×10–8，一共訓(xùn)練30個(gè)周期，其余超參數(shù)均與預(yù)訓(xùn)練階段相同。
數(shù)據(jù)增強(qiáng)通過創(chuàng)建新的訓(xùn)練樣本來(lái)擴(kuò)大現(xiàn)有數(shù)據(jù)集的大小，以提高模型的準(zhǔn)確性，可以有效地防止過擬合，并且可以讓模型更好地泛化，從而使算法在實(shí)際應(yīng)用中更加準(zhǔn)確和可靠。本文使用了隨機(jī)角度水平翻轉(zhuǎn)、改變亮度、改變對(duì)比度、改變飽和度等方法對(duì)原始圖像以0.5的概率進(jìn)行數(shù)據(jù)增強(qiáng)，其中，圖像的亮度、對(duì)比度、飽和度分別在一定的變化區(qū)間內(nèi)隨機(jī)以一定的倍數(shù)進(jìn)行變化，具體增強(qiáng)方式如表2所示。
表2 不同數(shù)據(jù)增強(qiáng)方法的設(shè)置Table 2 Settings for different data enhancement methods
實(shí)驗(yàn)對(duì)比的分類模型涉及傳統(tǒng)機(jī)器學(xué)習(xí)算法KNN和SVM，深度學(xué)習(xí)算法MLP和本文提出的可擴(kuò)展行為分類解碼器BC-Decoder。其中，所提BC-Decoder采用HRNet-W48作為姿態(tài)估計(jì)的骨干網(wǎng)絡(luò)對(duì)常見電力人員的5類行為識(shí)別準(zhǔn)確率混合矩陣Top1精度如圖5所示。從分類精度來(lái)看，所提的BC-Decoder容易識(shí)別出倒地（falling）和跨越（crossing）2個(gè)類別，從圖6的可視化效果圖來(lái)看也驗(yàn)證了這點(diǎn)，2個(gè)骨架相對(duì)其他類別具有明顯的特征；對(duì)于打電話（calling）和托舉（carrying）這類容易混淆的行為上精度會(huì)稍微降低，但相對(duì)傳統(tǒng)分類算法和基于深度學(xué)習(xí)算法，所提的BC-Decoder方法均達(dá)到了最佳的行為識(shí)別準(zhǔn)確率。
圖5 行為識(shí)別準(zhǔn)確率混合矩陣
Fig.5 Mixed matrix of behavior recognition accuracy
圖6
Fig.6 Power personnel behavior recognition effect
為了證明所提方法在行為分類任務(wù)上的優(yōu)越性，對(duì)不同的Encoder和Decoder進(jìn)行了消融實(shí)驗(yàn)。從表3中可以看出傳統(tǒng)分類方法KNN和SVM在行為識(shí)別速度上有較大優(yōu)勢(shì)，但分類精度上相比深度學(xué)習(xí)方法低10%~20%；在深度學(xué)習(xí)分類方法中，本文提出的BC-Decoder相比MLP在精度更加突出，同時(shí)得益于分組解碼的設(shè)計(jì)方法，參數(shù)量和計(jì)算量和MLP并相差不大。
表3 算法對(duì)比實(shí)驗(yàn)結(jié)果Table 3 Comparative experiment results of different algorithms
本文從電力人員行為安全管控的現(xiàn)實(shí)應(yīng)用需求出發(fā)，提出了一種基于姿態(tài)估計(jì)和注意力機(jī)制電力人員行為分類方法及相應(yīng)的行為識(shí)別算法，該方法具有良好的可擴(kuò)展性。相比傳統(tǒng)人員行為分類方法，如SVM、MLP等，本文所設(shè)計(jì)的基于Query解碼器BC-Decoder能夠結(jié)合姿態(tài)更精確地分析人員行為。而通過在解碼端采用的分組解碼方式，在保持相當(dāng)速度的基礎(chǔ)上，識(shí)別準(zhǔn)確度也得到了有效提升。同時(shí)，本文還設(shè)計(jì)了人員行為識(shí)別算法整體結(jié)構(gòu)與實(shí)現(xiàn)流程，得益于Encoder + Decoder網(wǎng)絡(luò)架構(gòu)，所提BC-Decoder可適用于任意姿態(tài)估計(jì)算法，具有很強(qiáng)的通用性。通過實(shí)驗(yàn)對(duì)比分析，證明了本文所提方法的有效性。
注：本文內(nèi)容呈現(xiàn)略有調(diào)整，如需要請(qǐng)查看原文。
