从单目视频中恢复接触与人体动力学
计算机视觉与模式识别
2020-07-27 v2
摘要
现有的深度模型从视频中预测的 2D 和 3D 运动学姿态大致准确，但包含违反物理约束的可见误差，例如脚穿透地面以及身体以极端角度倾斜。在本文中，我们提出了一种基于物理的方法，用于从视频序列推断 3D 人体运动，该方法以初始的 2D 和 3D 姿态估计作为输入。我们首先使用一种新颖的预测网络估计地面接触时刻，该网络无需人工标注数据训练。随后，基于这些输入，一个基于物理的轨迹优化求解出物理上合理的运动。我们展示了该过程产生的运动比纯运动学方法显著更真实，大幅改善了运动学和动力学合理性的定量度量。我们在具有复杂接触模式的舞蹈和体育动态运动的角色动画和姿态估计任务上演示了我们的方法。
引用
@article{arxiv.2007.11678,
title = {Contact and Human Dynamics from Monocular Video},
author = {Davis Rempe and Leonidas J. Guibas and Aaron Hertzmann and Bryan Russell and Ruben Villegas and Jimei Yang},
journal= {arXiv preprint arXiv:2007.11678},
year = {2020}
}
备注
ECCV 2020