D&D：从动态相机学习人体动力学
计算机视觉与模式识别
2022-09-20 v1 机器学习
摘要
单目视频的3D人体姿态估计近年来取得了显著进展。然而，大多数最先进的方法基于运动学，容易产生物理上不合理且带有明显伪影的运动。当前的基于动力学的方法能够预测物理上合理的运动，但仅限于静态相机视角下的简单场景。在本工作中，我们提出D&D（从动态相机学习人体动力学），其利用物理定律从带有移动相机的野外视频中重建3D人体运动。D&D引入惯性力控制（IFC），通过考虑动态相机的惯性力，在非惯性局部坐标系中解释3D人体运动。为了在有限标注下学习地面接触，我们提出了概率接触力矩（PCT），其通过对接触概率的可微分采样计算并用于生成运动。接触状态可通过鼓励模型生成正确运动来进行弱监督。此外，我们提出了一种注意力PD控制器，利用时间信息调整目标姿态状态，以获得平滑且准确的姿态控制。我们的方法完全基于神经网络，无需离线优化或物理引擎中的仿真即可运行。在大规模3D人体运动基准上的实验证明了D&D的有效性，我们展示出优于最先进的运动学基和动力学基方法的性能。代码见 https://github.com/Jeffsjtu/DnD
引用
@article{arxiv.2209.08790,
title = {D&D: Learning Human Dynamics from Dynamic Camera},
author = {Jiefeng Li and Siyuan Bian and Chao Xu and Gang Liu and Gang Yu and Cewu Lu},
journal= {arXiv preprint arXiv:2209.08790},
year = {2022}
}
备注
ECCV 2022 (Oral)