具有物理感知的单目神经网络三维人体运动捕捉
计算机视觉与模式识别
2021-05-04 v1 图形学
人机交互
摘要
我们提出了一种可训练的物理合理无标记三维人体运动捕捉系统，其在广泛具有挑战性的场景中取得了最先进（state-of-the-art）的结果。与大多数用于人体运动捕捉的神经方法不同，我们称之为 physionical 的方法感知物理与环境约束。它以完全可微分的方式结合了若干关键创新：1. 由神经网络预测增益的比例-微分控制器，即使在快速运动下也能减少延迟；2. 显式刚体动力学模型；3. 一种新颖的优化层，作为硬约束防止物理不合理的脚-地穿透。我们系统的输入为 2D 关节关键点，其以新颖方式规范化，从而在训练与测试时减少对相机内参的依赖。这使得更准确的全局平移估计成为可能且不损失泛化能力。当 3D 标注不可用时，我们的模型可仅用 2D 标注微调。它可在交互帧率下于包括新录制在内的多种挑战性场景中生成平滑且符合物理原理的三维运动。其优势在显著不同于常见 3D 姿态估计基准（如 Human 3.6M 和 MPI-INF-3DHP）的野外序列上尤为明显。定性结果见 http://gvv.mpi-inf.mpg.de/projects/PhysAware/。
引用
@article{arxiv.2105.01057,
title = {Neural Monocular 3D Human Motion Capture with Physical Awareness},
author = {Soshi Shimada and Vladislav Golyanik and Weipeng Xu and Patrick Pérez and Christian Theobalt},
journal= {arXiv preprint arXiv:2105.01057},
year = {2021}
}