基于混合注意力图卷积网络的骨骼人体动作识别
计算机视觉与模式识别
2022-07-13 v1
摘要
在基于骨骼的动作识别中，图卷积网络将人体骨骼关节建模为顶点，并通过邻接矩阵连接它们，该矩阵可视为局部注意力掩码。然而，在大多数现有图卷积网络中，局部注意力掩码是基于人体骨骼关节的自然连接定义的，忽略了例如头、手和脚关节之间的动态关系。此外，注意力机制已被证明在自然语言处理和图像描述中有效，但在现有方法中很少被研究。在本工作中，我们提出了一种新的自适应空间注意力层，基于相对距离和相对角度信息将局部注意力图扩展到全局。而且，我们设计了一个新的初始图邻接矩阵，连接头、手和脚，这在动作识别精度上显示出可见的提升。所提模型在日常生活人体活动领域的两个大规模且具有挑战性的数据集 NTU-RGB+D 和 Kinetics skeleton 上进行了评估。结果表明我们的模型在两个数据集上均具有强劲性能。
引用
@article{arxiv.2207.05493,
title = {Skeletal Human Action Recognition using Hybrid Attention based Graph Convolutional Network},
author = {Hao Xing and Darius Burschka},
journal= {arXiv preprint arXiv:2207.05493},
year = {2022}
}
备注
26th International Conference on Pattern Recognition, 2022