基于姿态与关节感知的动作识别

动作识别的近期进展主要集中于 RGB 和光流特征。在本文中，我们研究基于关节的动作识别问题。与其他模态不同，关节的构型及其运动为活动识别生成了蕴含简洁人体运动信息的模型。我们提出一种用于基于关节的动作识别的新模型，其首先通过共享运动编码器分别从每个关节提取运动特征，再进行集体推理。我们的关节选择器模块对关节信息重新加权，以选择任务中最具判别力的关节。我们还提出一种新颖的关节对比损失，将传达相同动作的关节特征组拉近。我们通过使用几何感知的数据增强技术来强化基于关节的表示，该技术在保持动作动态的同时抖动姿态热图。我们在 JHMDB、HMDB、Charades、AVA 动作识别数据集上展示了相对于当前最优基于关节方法的显著提升。与基于 RGB 和光流的方法进行后期融合可带来额外提升。我们的模型在包含脱离上下文动作的 Mimetics 数据集上也优于现有基线。