从视频中学习三维人体动力学

从一张人物动作图像中，我们可以轻易猜测该人物在紧邻的过去与未来的三维运动。这是因为我们拥有一个从观察人类运动视觉序列中获得的三维人体动力学心智模型。我们提出一个框架，可通过简单而有效的图像特征时间编码，类似地从视频中学习人类三维动力学的表示。在测试时，从视频中，学习到的时间表示产生平滑的三维网格预测。从单张图像，我们的模型可恢复当前三维网格及其三维过去与未来运动。我们的方法设计成可以以半监督方式从带有二维姿态标注的视频中学习。尽管标注数据总是有限，但互联网上每天上传数百万视频。本工作中，我们通过用现成二维姿态检测器获得的伪真值二维姿态在未标注视频上训练模型，利用了这一互联网规模的无标注数据源。我们的实验表明，增加更多带伪真值二维姿态的视频可单调提升三维预测性能。我们在近期具有挑战性的3D Poses in the Wild数据集上评估我们的模型Human Mesh and Motion Recovery (HMMR)，并在无需任何微调的三维预测任务上取得最先进性能。带有视频、代码和数据的研究项目网站见 https://akanazawa.github.io/human_dynamics/。