PhysCap：实时物理合理的单目 3D 动作捕捉
计算机视觉与模式识别
2020-12-10 v2 图形学
摘要
从单一彩色相机进行无标记 3D 人体动作捕捉已取得显著进展。然而，这是一个极具挑战且严重不适定的问题。因此，即便是最精确的当前最优方法也存在显著局限。与多视角或基于标记的动作捕捉相比，基于单个关节或骨架的纯运动学公式，以及当前最优方法中频繁逐帧重建，极大限制了 3D 精度与时间稳定性。此外，捕获的 3D 姿态常物理不正确且生物力学上不合理，或表现出不合理的环境交互（地面穿透、脚滑、不自然身体倾斜与深度方向强偏移），这对计算机图形学中的任何用例都有问题。因此，我们提出 PhysCap，首个使用单一彩色相机以 25 fps 实现物理合理、实时且无标记人体 3D 动作捕捉的算法。我们的算法首先纯运动学地捕获 3D 人体姿态。为此，一个 CNN 推断 2D 与 3D 关节位置，随后一个逆运动学步骤求出时空一致的关节角与全局 3D 姿态。接下来，这些运动学重建被用作实时基于物理的姿态优化器的约束，该优化器考虑环境约束（例如碰撞处理与地板放置）、重力以及人体姿态的生物物理合理性。我们的方法结合地面反作用力与残余力以实现合理的根控制，并使用训练好的神经网络检测图像中的脚接触事件。我们的方法从视频中实时且在一般场景下捕获物理合理且时间稳定的全局 3D 人体运动，无物理不合理姿态、地面穿透或脚滑。视频见 http://gvv.mpi-inf.mpg.de/projects/PhysCap
引用
@article{arxiv.2008.08880,
title = {PhysCap: Physically Plausible Monocular 3D Motion Capture in Real Time},
author = {Soshi Shimada and Vladislav Golyanik and Weipeng Xu and Christian Theobalt},
journal= {arXiv preprint arXiv:2008.08880},
year = {2020}
}
备注
16 pages, 11 figures