基于三维骨骼的动态多尺度图神经网络人体运动预测
计算机视觉与模式识别
2020-03-20 v1 机器学习
机器学习
摘要
我们提出新颖的动态多尺度图神经网络（DMGNN）来预测基于三维骨骼的人体运动。DMGNN 的核心思想是利用多尺度图全面建模人体内部关系以进行运动特征学习。该多尺度图在训练过程中自适应，并在网络层间动态变化。基于此图，我们提出多尺度图计算单元（MGCU）以在各尺度提取特征并跨尺度融合特征。整个模型与动作类别无关，并遵循编码器-解码器框架。编码器由一系列 MGCU 组成以学习运动特征。解码器使用所提出的基于图的门控循环单元生成未来姿态。大量实验表明，所提出的 DMGNN 在 Human 3.6M 和 CMU Mocap 数据集上的短期和长期预测均优于最先进方法。我们进一步研究了学习到的多尺度图以解释其可解释性。代码可从 https://github.com/limaosen0/DMGNN 下载。
引用
@article{arxiv.2003.08802,
title = {Dynamic Multiscale Graph Neural Networks for 3D Skeleton-Based Human Motion Prediction},
author = {Maosen Li and Siheng Chen and Yangheng Zhao and Ya Zhang and Yanfeng Wang and Qi Tian},
journal= {arXiv preprint arXiv:2003.08802},
year = {2020}
}