中文

关注运动协调的更加真实的人体运动预测

计算机视觉与模式识别 2024-04-05 v1

摘要

关节关系建模是人体运动预测中的关键组成部分。现有方法大多依赖基于骨骼的图来构建关节关系,其中关节对之间的局部交互关系得到了很好的学习。然而,运动协调——一种反映所有关节同时协作的全局关节关系——通常被弱化,因为它是从部分到整体逐步且异步地学习的。因此,最终预测的运动通常显得不真实。为解决这一问题,我们从运动的时空特征中学习一个称为协调吸引子(CA)的媒介来表征全局运动特征,随后用于构建新的相对关节关系。通过CA,所有关节同时关联,从而可以更好地学习所有关节的运动协调。在此基础上,我们进一步提出了一种新颖的关节关系建模模块——综合关节关系提取器(CJRE),以统一的方式将这种运动协调与关节对之间的局部交互结合起来。此外,我们还提出了一个多时间尺度动力学提取器(MTDE),从原始位置信息中提取丰富的动力学特征以实现有效预测。大量实验表明,所提出的框架在H3.6M、CMU-Mocap和3DPW数据集上的短期和长期预测中均优于最先进的方法。

关键词

引用

@article{arxiv.2404.03584,
  title  = {Towards more realistic human motion prediction with attention to motion coordination},
  author = {Pengxiang Ding and Jianqin Yin},
  journal= {arXiv preprint arXiv:2404.03584},
  year   = {2024}
}

备注

Accepted by TCSVT