基于 motor attention 机制和帧级自蒸馏的连续手势识别

面部表情、头部动作、身体动作和手势动作的变化是手势识别中的重要线索，目前大多数连续手势识别（CSLR）研究方法在帧级特征提取阶段主要关注静态图像，忽略了图像的动态变化。本文提出一种新颖的 motor attention 机制，捕获局部运动区域在手势表达过程中产生的扭曲变化，获取图像变化的动态表征。首次将自蒸馏方法应用于连续手势的帧级特征提取，通过自蒸馏相邻阶段的特征并使用更高阶特征作为教师指导更低阶特征，从而在不增加计算资源的情况下提高特征表达能力。两种方法的结合构成了我们提出的基于 motor attention 机制和帧级自蒸馏的 CSLR 整体模型（MAM-FSD），提高了模型的推理能力和鲁棒性。我们在三个公开数据集上进行实验，实验结果显示，我们提出的方法能够有效提取视频中的手势运动信息，提高 CSLR 的准确率，并达到最新的水平。