用于基于骨架的动作识别的双流自适应图卷积网络
计算机视觉与模式识别
2019-07-11 v3
摘要
在基于骨架的动作识别中，将人体骨架建模为时空图的图卷积网络（GCNs）已取得显著性能。然而，在现有基于GCN的方法中，图的拓扑是手动设定的，并且在所有层与所有输入样本上固定不变。这对于层次化GCN与动作识别任务中的多样样本而言可能并非最优。此外，骨架数据的二阶信息（骨骼的长度与方向）天然对动作识别更具信息量与判别力，却在现有方法中鲜有探究。本工作中，我们提出一种新颖的用于基于骨架的动作识别的双流自适应图卷积网络（2s-AGCN）。我们模型中图的拓扑可由BP算法以端到端方式统一或逐个样本地学习。这种数据驱动的方法增加了模型在图构建上的灵活性，并带来更强的通用性以适应各类数据样本。此外，提出一种双流框架同时建模一阶与二阶信息，显示出对识别准确率的明显提升。在NTU-RGBD与Kinetics-Skeleton两个大规模数据集上的大量实验表明，我们的模型性能以显著优势超越SOTA。
引用
@article{arxiv.1805.07694,
title = {Two-Stream Adaptive Graph Convolutional Networks for Skeleton-Based Action Recognition},
author = {Lei Shi and Yifan Zhang and Jian Cheng and Hanqing Lu},
journal= {arXiv preprint arXiv:1805.07694},
year = {2019}
}