动态GCN：用于基于骨架动作识别的上下文富集拓扑学习
计算机视觉与模式识别
2020-07-30 v1
摘要
图卷积网络（GCNs）在基于骨架的动作识别任务中引起了越来越多的关注。关键在于编码骨架拓扑信息的图结构设计。本文提出动态GCN，其中引入了一种称为上下文编码网络（CeN）的新型卷积神经网络，以自动学习骨架拓扑。特别地，在学习两个关节间的依赖关系时，以全局方式融入其余关节的上下文特征。CeN极其轻量且有效，可嵌入图卷积层中。通过堆叠多个启用CeN的图卷积层，我们构建了动态GCN。值得注意的是，得益于CeN，为不同输入样本以及不同深度的图卷积层构建了动态图拓扑。此外，充分探索了三种可选的上下文建模架构，可作为未来图拓扑学习研究的指导。CeN仅为基线模型带来约7%的额外FLOPs，且动态GCN以比现有方法少~的FLOPs取得更优性能。通过进一步结合静态物理身体连接与运动模态，我们在三个大规模基准（即NTU-RGB+D、NTU-RGB+D 120与Skeleton-Kinetics）上取得了最先进的性能。
引用
@article{arxiv.2007.14690,
title = {Dynamic GCN: Context-enriched Topology Learning for Skeleton-based Action Recognition},
author = {Fanfan Ye and Shiliang Pu and Qiaoyong Zhong and Chao Li and Di Xie and Huiming Tang},
journal= {arXiv preprint arXiv:2007.14690},
year = {2020}
}
备注
accepted by ACMMM2020