基于嵌入关键点位移的有效动作识别

时序特征提取是基于视频的动作识别中的一项关键技术。关键点已用于基于骨架的动作识别方法，但其需要代价高昂的关键点标注。本文提出一种新颖的时序特征提取模块，称为关键点位移嵌入模块（$KPSEM$），以在无关键点标注的情况下自适应地提取跨视频帧的通道级关键点位移用于时序特征提取。关键点被自适应地提取为在分割区域中具有最大特征值的特征点，而关键点位移为对应关键点的空间位移。关键点位移通过线性嵌入层以多集合方式编码为整体时序特征。我们的方法以极小的计算代价通过嵌入关键点位移取得了具有竞争力的性能，在 Mini-Kinetics 上达到 82.05% 的 SOTA 性能，并在 UCF101、Something-Something-v1 与 HMDB51 数据集上取得有竞争力的性能。