用于基于骨架动作识别的时空图注意力网络
计算机视觉与模式识别
2022-09-14 v2
摘要
当前基于骨架的动作识别方法通常主要考虑捕获长期时间依赖，因为骨架序列一般较长（>128帧），这对以往方法构成挑战。在此情形下，对分类相似动作至关重要的短期依赖很少被正式考虑。多数现有方法由空间仅模块与时间仅模块交错组成，相邻帧间关节的直接信息流受阻，因而难以捕获短期运动并区分相似动作对。为应对此局限，我们提出一个名为 STGAT 的通用框架来建模跨时空信息流。它使空间仅模块具备用于区域感知的时空建模能力。尽管 STGAT 在理论上对时空建模有效，我们提出三个简单模块以减少局部时空特征冗余并进一步释放 STGAT 潜力，分别用于（1）缩小自注意力机制范围，（2）沿时间维度动态加权关节，以及（3）从静态特征中分离细微运动。作为一种鲁棒特征提取器，STGAT 在分类相似动作上比较以往方法泛化更好，定性与定量结果均证实了这一点。STGAT 在三个大规模数据集 NTU RGB+D 60、NTU RGB+D 120 和 Kinetics Skeleton 400 上取得了最先进（state-of-the-art）性能。代码已公开。
引用
@article{arxiv.2208.08599,
title = {Spatial Temporal Graph Attention Network for Skeleton-Based Action Recognition},
author = {Lianyu Hu and Shenglan Liu and Wei Feng},
journal= {arXiv preprint arXiv:2208.08599},
year = {2022}
}