基于骨架的动作识别的解耦时空注意力网络
计算机视觉与模式识别
2020-07-08 v1
摘要
以人体关节的2D/3D坐标表示的动态骨架数据，因其高层语义信息和环境鲁棒性，已被广泛研究用于人体动作识别。然而，以往方法严重依赖设计手工遍历规则或图拓扑来刻画关节间的依赖关系，在性能和泛化性上受限。本文提出一种新颖的用于基于骨架的动作识别的解耦时空注意力网络（DSTA-Net）。它仅由注意力块构成，能够在无需知晓关节位置或相互连接的情况下建模关节间的时空依赖。具体而言，为满足骨架数据的特殊需求，提出了三种构建注意力块的技术，即时空注意力解耦、解耦位置编码和空间全局正则化。此外，从数据层面，我们引入骨架数据解耦技术以强调空间/时间以及不同运动尺度的特定特征，从而对人体动作获得更全面的理解。为验证所提方法的有效性，在四个具有挑战性的基于骨架的手势与动作识别数据集（即SHREC、DHG、NTU-60和NTU-120）上进行了大量实验，DSTA-Net在所有数据集上均取得了最先进的性能。
引用
@article{arxiv.2007.03263,
title = {Decoupled Spatial-Temporal Attention Network for Skeleton-Based Action Recognition},
author = {Lei Shi and Yifan Zhang and Jian Cheng and Hanqing Lu},
journal= {arXiv preprint arXiv:2007.03263},
year = {2020}
}