基于稀疏化图回归的优化骨架动作识别
计算机视觉与模式识别
2019-04-16 v2
摘要
随着易用的深度传感器普及，动态人体骨架作为动作识别的一种鲁棒模态已引起广泛关注。先前方法基于 RNN 或 CNN 对骨架建模，其对不规则骨架关节的表达能力有限。尽管图卷积网络（GCN）已被提出以处理不规则图结构数据，基础的图构建仍具挑战性。本文中，我们自然地将骨架表示在图上，并提出一种基于图回归的 GCN（GR-GCN）用于基于骨架的动作识别，旨在捕捉数据中的时空变化。由于图表示对图卷积至关重要，我们首先提出图回归以从多个观测中统计地学习底层图。具体地，我们给出骨架的时空建模，并在连续帧上提出关于图结构的优化问题，该问题强制底层图的稀疏性以实现高效表示。优化后的图不仅将每个关节以强或弱的方式连接到同一帧中的相邻关节，还连接到前一帧与后一帧中的相关关节。随后我们将优化后的图与骨架序列的坐标一同输入 GCN 进行特征学习，其中我们部署了谱图卷积的高阶快速 Chebyshev 近似。此外，我们给出了关于 Chebyshev 近似的变化表征的分析。实验结果验证了所提图回归的有效性，并表明所提 GR-GCN 在广泛使用的 NTU RGB+D、UT-Kinect 与 SYSU 3D 数据集上取得了最先进的性能。
引用
@article{arxiv.1811.12013,
title = {Optimized Skeleton-based Action Recognition via Sparsified Graph Regression},
author = {Xiang Gao and Wei Hu and Jiaxiang Tang and Jiaying Liu and Zongming Guo},
journal= {arXiv preprint arXiv:1811.12013},
year = {2019}
}