基于3D场景定位的以自我为中心视频中的4D人体捕获
计算机视觉与模式识别
2021-10-19 v2
摘要
我们引入一项新任务：从单目以自我为中心视频中重建第二人称3D人体网格的时间序列。以自我为中心视频独有的视点以及快速的具身相机运动，为人体捕获带来了额外的技术障碍。为应对这些挑战，我们提出一种简单而有效的基于优化的方法，利用整个视频序列的2D观测以及人-场景交互约束，来估计基于以自我为中心视角所捕获的3D环境之上的第二人称人体姿态、形状与全局运动。我们进行了详细的消融实验以验证我们的设计选择。此外，我们将我们的方法与先前单目视频人体运动捕获的SOTA方法进行比较，并表明在具有挑战性的以自我为中心设定下，我们的方法估计出更准确的人体姿态与形状。另外，我们展示了我们的方法产生更真实的人-场景交互。
引用
@article{arxiv.2011.13341,
title = {4D Human Body Capture from Egocentric Video via 3D Scene Grounding},
author = {Miao Liu and Dexin Yang and Yan Zhang and Zhaopeng Cui and James M. Rehg and Siyu Tang},
journal= {arXiv preprint arXiv:2011.13341},
year = {2021}
}