解耦野外视频中的人体与相机运动
计算机视觉与模式识别
2023-03-22 v2
摘要
我们提出一种从野外视频中重建全局人体轨迹的方法。我们的优化方法解耦了相机与人体运动,使得我们能将人置于同一世界坐标系下。大多数现有方法不建模相机运动;依赖背景像素推断3D人体运动的方法通常需要完整的场景重建,而这常对野外视频不可行。然而,即便现有SLAM系统无法恢复准确的场景重建,背景像素运动仍提供足够信号来约束相机运动。我们表明,相对相机估计结合数据驱动的人体运动先验可解决场景尺度模糊性并恢复全局人体轨迹。我们的方法在诸如PoseTrack等具有挑战性的野外视频中鲁棒地恢复人的全局3D轨迹。我们在3D人体数据集Egobody上量化了相对现有方法的提升。我们进一步证明,恢复的相机尺度使我们能在共享坐标系下推理多人的运动,从而提升PoseTrack中下游追踪的性能。代码与视频结果见https://vye16.github.io/slahmr。
引用
@article{arxiv.2302.12827,
title = {Decoupling Human and Camera Motion from Videos in the Wild},
author = {Vickie Ye and Georgios Pavlakos and Jitendra Malik and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2302.12827},
year = {2023}
}
备注
Project site: https://vye16.github.io/slahmr. CVPR 2023