深入探究具有多样遮挡的一次性基于骨架的动作识别

遮挡是现实世界中普遍存在的干扰因素。特别是对于人体骨架等稀疏表示，少量被遮挡的点就可能破坏几何与时间连续性，严重影响结果。然而，尽管遮挡在日常中无处不在，诸如一次性动作识别等基于骨架序列的数据稀缺识别研究并未显式考虑遮挡。在本工作中，我们显式地处理基于骨架的一次性动作识别（SOAR）中的身体遮挡问题。我们主要考虑两种遮挡变体：1）随机遮挡；2）由多样日常物体引起的更真实的遮挡，我们通过将现有的 IKEA 3D 家具模型以不同几何参数投影到 3D 骨架的相机坐标系中来生成此类遮挡。我们利用所提出的流程来遮盖三个流行动作识别数据集的骨架序列部分，并形式化了首个针对部分遮挡身体姿态的 SOAR 基准。我们基准的另一关键特性是由日常物体生成的更真实遮挡，因为即使在标准的 3D 骨架识别中，也仅考虑了随机缺失的关节。我们依据这一新任务重新评估了现有的 SOAR 最优框架，并进一步引入了 Trans4SOAR——一种基于 transformer 的新模型，其利用三数据流与混合注意力融合机制来缓解遮挡造成的负面影响。尽管我们的实验表明缺失骨架部分会导致准确率明显下降，但 Trans4SOAR 的这一影响较小，并在所有数据集上优于其他架构。虽然我们专门聚焦于遮挡，Trans4SOAR 还在无遮挡的标准 SOAR 中取得了最优性能，在 NTU-120 上超越已发表最佳方法 2.85%。