中文

AFE-CNN:基于三维骨骼的动作识别与动作特征增强

计算机视觉与模式识别 2022-08-09 v1

摘要

现有的基于三维骨骼的动作识别方法通过将手工设计的动作特征编码为图像格式并由CNN解码,取得了令人印象深刻的性能。然而,这类方法存在两方面的局限:a) 手工设计的动作特征难以处理具有挑战性的动作;b) 它们通常需要复杂的CNN模型来提高动作识别准确率,这往往带来沉重的计算负担。为克服这些局限,我们提出了一种新颖的AFE-CNN,致力于增强基于三维骨骼的动作特征,以适应具有挑战性的动作。我们从关键关节、骨骼向量、关键帧和时间视角提出了特征增强模块,因此AFE-CNN对摄像机视角和体型变化更具鲁棒性,并显著提高了在具有挑战性的动作上的识别准确率。此外,我们的AFE-CNN采用轻量级CNN模型对动作特征增强后的图像进行解码,从而确保了比最先进方法低得多的计算负担。我们在三个基于骨骼的动作基准数据集NTU RGB+D、NTU RGB+D 120和UTKinect-Action3D上评估了AFE-CNN,大量实验结果证明了AFE-CNN的优异性能。

关键词

引用

@article{arxiv.2208.03444,
  title  = {AFE-CNN: 3D Skeleton-based Action Recognition with Action Feature Enhancement},
  author = {Shannan Guan and Haiyan Lu and Linchao Zhu and Gengfa Fang},
  journal= {arXiv preprint arXiv:2208.03444},
  year   = {2022}
}