用于基于 3D 骨架的运动预测的多尺度时空图神经网络
计算机视觉与模式识别
2021-09-29 v1 人工智能
摘要
我们提出了一种多尺度时空图神经网络（MST-GNN），以与动作类别无关的方式预测未来的基于 3D 骨架的人体姿态。MST-GNN 的核心是一个多尺度时空图，它显式地建模了各种空间和时间尺度上的运动关系。与许多先前的层次化结构不同，我们的多尺度时空图是以数据自适应的方式构建的，能够捕获非物理的但基于运动的关系。MST-GNN 的关键模块是基于可训练图结构的多尺度时空图计算单元（MST-GCU）。MST-GCU 在各个尺度上嵌入底层特征，然后跨尺度融合特征以获得全面的表示。MST-GNN 的整体架构遵循编码器-解码器框架，其中编码器由一系列 MST-GCU 组成以学习运动的空间和时间特征，解码器使用基于图的注意力门控循环单元（GA-GRU）来生成未来姿态。我们进行了大量实验，结果表明所提出的 MST-GNN 在 Human 3.6M、CMU Mocap 和 3DPW 数据集上的短期和长期运动预测中均优于 SOTA 方法，其中在 Human 3.6M 上 MST-GNN 在短期和长期预测中的平均角度误差分别比先前的工作低 5.33% 和 3.67%，在 CMU Mocap 上短期和长期预测的平均角度误差分别低 11.84% 和 4.71%，在 3DPW 上平均角度误差低 1.13%。我们进一步研究了学习到的多尺度图的可解释性。
引用
@article{arxiv.2108.11244,
title = {Multiscale Spatio-Temporal Graph Neural Networks for 3D Skeleton-Based Motion Prediction},
author = {Maosen Li and Siheng Chen and Yangheng Zhao and Ya Zhang and Yanfeng Wang and Qi Tian},
journal= {arXiv preprint arXiv:2108.11244},
year = {2021}
}
备注
Accepted by IEEE-TIP