重力感知的单目3D人体-物体重建
计算机视觉与模式识别
2021-08-20 v1
摘要
本文提出GraviCap，即一种从单目RGB视频中进行联合无标记3D人体运动捕捉与物体轨迹估计的新方法。我们关注物体在自由飞行过程中被部分观测的场景。与现有单目方法不同，由于感知到约束物体运动的重力，我们能够以米为单位恢复尺度、物体轨迹以及人体骨骼长度，还有地平面的朝向。我们的目标函数由物体的初始速度与位置、重力方向和焦距参数化，并针对一个或多个自由飞行片段进行联合优化。所提出的人体-物体交互约束确保了3D重建的几何一致性，并且相较于无约束情况改善了人体姿态的物理合理性。我们在一个带有经历自由飞行的人员和不同物体真值标注的新数据集上评估GraviCap。在实验中，我们的方法在3D人体运动捕捉的各项指标上达到了SOTA精度。我们建议读者观看我们的补充视频。源代码与数据集均已发布；见 http://4dqv.mpi-inf.mpg.de/GraviCap/。
引用
@article{arxiv.2108.08844,
title = {Gravity-Aware Monocular 3D Human-Object Reconstruction},
author = {Rishabh Dabral and Soshi Shimada and Arjun Jain and Christian Theobalt and Vladislav Golyanik},
journal= {arXiv preprint arXiv:2108.08844},
year = {2021}
}
备注
12 pages, six figures, five tables; project webpage: http://4dqv.mpi-inf.mpg.de/GraviCap/