用于基于骨架动作识别的多粒度时空图网络学习
计算机视觉与模式识别
2021-08-11 v1 机器学习
摘要
由于人体运动的多粒度性与巨大差异，基于骨架的动作识别依然是以人为中心的场景理解中的核心挑战。现有方法通常针对不同的运动模式采用单一的神经表示，这在训练数据有限的情况下难以捕捉细粒度动作类别。为了解决上述问题，我们提出了一种用于基于骨架动作分类的新型多粒度时空图网络，该网络联合建模粗粒度与细粒度的骨架运动模式。为此，我们开发了一个由两个交错分支组成的双头图网络，使我们能够以有效且高效的方式在两种时空分辨率上提取特征。此外，我们的网络利用跨头通信策略来相互增强两个头的表示。我们在三个大规模数据集（即 NTU RGB+D 60、NTU RGB+D 120 和 Kinetics-Skeleton）上进行了广泛实验，并在所有基准上达到了 SOTA 性能，验证了我们方法的有效性。
引用
@article{arxiv.2108.04536,
title = {Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based Action Recognition},
author = {Tailin Chen and Desen Zhou and Jian Wang and Shidong Wang and Yu Guan and Xuming He and Errui Ding},
journal= {arXiv preprint arXiv:2108.04536},
year = {2021}
}
备注
Accepted by ACM MM'21