用于基于骨架的动作识别的时序图建模
计算机视觉与模式识别
2020-12-17 v1 图形学
摘要
图卷积网络（GCNs）将骨架数据建模为图，已在基于骨架的动作识别中取得显著性能。特别地，骨架序列的时序动态在该识别任务中传达了重要信息。对于时序动态建模，基于 GCN 的方法仅堆叠多层一维局部卷积来提取相邻时间步之间的时序关系。随着大量局部卷积的重复，具有非相邻时间距离的关建时序信息可能因信息稀释而被忽略。因此，这些方法仍不清楚如何充分挖掘骨架序列的时序动态。本文中，我们提出时序增强图卷积网络（TE-GCN）以解决此局限。所提 TE-GCN 构建时序关系图以捕获复杂时序动态。具体而言，所构建的时序关系图显式地建立语义相关时序特征之间的连接，以建模相邻与非相邻时间步之间的时序关系。同时，为进一步挖掘充分的时序动态，设计了多头机制以探究多种时序关系。在两个广泛使用的大规模数据集 NTU-60 RGB+D 和 NTU-120 RGB+D 上进行了充分实验。实验结果表明，所提模型通过对动作识别的时序建模做出贡献而达到了最先进性能。
引用
@article{arxiv.2012.08804,
title = {Temporal Graph Modeling for Skeleton-based Action Recognition},
author = {Jianan Li and Xuemei Xie and Zhifu Zhao and Yuhan Cao and Qingzhe Pan and Guangming Shi},
journal= {arXiv preprint arXiv:2012.08804},
year = {2020}
}