从单目视频中进行野外人体性能捕捉
计算机视觉与模式识别
2021-12-01 v2
摘要
捕捉着衣人体的动态变形 3D 形状对于包括 VR/AR、自动驾驶和人机交互在内的众多应用至关重要。现有方法要么需要高度专门的捕捉设置（例如昂贵的 multiview 成像系统），要么缺乏对具有挑战性身体姿态的鲁棒性。在这项工作中，我们提出了一种能够从具有挑战性身体姿态的单目视频中捕捉动态 3D 人体形状的方法，且无需任何额外输入。我们首先基于学习的回归模型构建受试者的 3D 模板人体模型。然后，我们基于 2D 图像观测跟踪该模板模型在挑战性身体关节运动下的变形。我们的方法在野外人体视频数据集 3DPW 上优于最先进的方法。此外，我们在来自 iPER 数据集的视频上展示了其鲁棒性和泛化能力。
引用
@article{arxiv.2111.14672,
title = {Human Performance Capture from Monocular Video in the Wild},
author = {Chen Guo and Xu Chen and Jie Song and Otmar Hilliges},
journal= {arXiv preprint arXiv:2111.14672},
year = {2021}
}