MonoPerfCap：基于单目视频的人体性能捕捉
计算机视觉与模式识别
2018-02-26 v2 图形学
摘要
我们提出了首个从单目视频中对穿着一般服装的人体进行时间相干 3D 性能捕捉的无标记方法。我们的方法在一般场景中重建人体关节骨架运动以及中等尺度的非刚性表面形变。由于关节运动范围大、运动可能快速且存在相当大的非刚性形变，即使从多视角数据来看，人体性能捕捉也是一个极具挑战性的问题。仅从单目视频进行重建的挑战性更是急剧增加，因为严重的遮挡和固有的深度模糊导致了一个高度不适定的重建问题。我们通过一种新颖的方法来解决这些挑战，该方法采用基于批次的姿态估计策略，利用卷积神经网络提取稀疏的 2D 和 3D 人体姿态检测。基于低维轨迹子空间，逐批次联合恢复运动，从而消解单目重建问题的模糊性。此外，我们提出了基于全自动提取的轮廓进行表面几何细化，以实现中等尺度的非刚性对齐。我们展示了最先进的性能捕捉结果，实现了诸如视频编辑和自由视点视频等激动人心的应用，这些应用在以前从单目视频中是无法实现的。我们的定性和定量评估表明，我们的方法在准确性、鲁棒性和可处理的场景复杂度方面均显著优于以往的单目方法。
引用
@article{arxiv.1708.02136,
title = {MonoPerfCap: Human Performance Capture from Monocular Video},
author = {Weipeng Xu and Avishek Chatterjee and Michael Zollhöfer and Helge Rhodin and Dushyant Mehta and Hans-Peter Seidel and Christian Theobalt},
journal= {arXiv preprint arXiv:1708.02136},
year = {2018}
}
备注
Accepted to ACM TOG 2018, to be presented on SIGGRAPH 2018