SDMTL:用于三维人体运动预测的半解耦多粒度轨迹学习
计算机视觉与模式识别
2020-10-13 v1
摘要
预测未来人体运动对于智能机器人在真实世界中与人类交互至关重要,而人体运动具有多粒度的本质。然而,现有大多数工作要么通过固定模式隐式建模多粒度信息,要么专注于建模单一粒度,难以很好地捕捉这一本质以进行准确预测。相反,我们提出一种新颖的端到端网络——半解耦多粒度轨迹学习网络(SDMTL)来预测未来姿态,其不仅灵活捕捉丰富的多粒度轨迹信息,还聚合多粒度信息用于预测。具体而言,我们首先引入一个受脑启发的半解耦运动敏感编码模块(BSME),以半解耦方式有效捕捉时空特征。然后,我们在多粒度(包括细粒度和粗粒度)上捕捉运动轨迹的时间动态。我们使用 BSME 分层学习多粒度轨迹信息,并通过汇集各粒度的 BSME 输出并沿运动轨迹施加时间卷积,进一步捕捉各粒度上时间演化方向的信息。接下来,所捕捉的运动动态可通过加权求和方案聚合多粒度信息而进一步增强。最后,在包括 Human3.6M 和 CMU-Mocap 的两个基准上的实验结果表明,我们的方法取得了最先进的性能,证明了所提方法的有效性。代码将在论文被接收后公开。
引用
@article{arxiv.2010.05133,
title = {SDMTL: Semi-Decoupled Multi-grained Trajectory Learning for 3D human motion prediction},
author = {Xiaoli Liu and Jianqin Yin},
journal= {arXiv preprint arXiv:2010.05133},
year = {2020}
}