关于基于骨架的人体动作识别中时空图卷积网络的空域注意力
计算机视觉与模式识别
2021-04-23 v2
摘要
图卷积网络（GCNs）通过将骨架序列建模为时空图，在基于骨架的人体动作识别中取得了令人瞩目的性能。近期提出的大多数基于 GCN 的方法，通过在网络每一层使用作用于预定义图邻接矩阵的空间注意力来学习图结构，该邻接矩阵与模型参数以端到端方式联合优化，从而提升性能。本文中，我们分析了时空 GCN 层中使用的空间注意力，并提出了一种对称空间注意力，以更好地反映人体关节在执行动作时相对位置的对称特性。我们还阐明了采用加性空间注意力的时空 GCN 层与双线性层之间的联系，并提出了时空双线性网络（ST-BLN），其无需使用预定义邻接矩阵且允许更灵活的模型设计。实验结果表明，三种模型的实际性能基本相同。此外，利用所提 ST-BLN 提供的灵活性，可以提升模型的效率。
引用
@article{arxiv.2011.03833,
title = {On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition},
author = {Negar Heidari and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2011.03833},
year = {2021}
}
备注
Accepted by the 2021 International Joint Conference on Neural Networks (IJCNN 2021)