LiveCap：基于单目视频的实时人体性能捕捉
计算机视觉与模式识别
2019-01-28 v3
摘要
我们提出了首个实时人体性能捕捉方法，仅从单张 RGB 视频中重建穿一般日常服装的完整人体的稠密、时空连贯变形几何。我们提出了一种新颖的两阶段分析-综合优化，其公式与实现专为高性能而设计。第一阶段，将蒙皮模板模型联合拟合到背景减除的输入视频、使用深度神经网络发现的 2D 与 3D 骨架关节位置，以及一组稀疏人脸关键点检测。第二阶段，基于一种新颖的、实时可行的非刚性跟踪算法，利用稠密光度与轮廓约束，捕捉皮肤甚至宽松衣物的稠密非刚性 3D 变形。我们的新颖能量公式利用模板上自动识别的材料区域来建模皮肤与衣物不同的非刚性变形行为。每帧两个所得非线性优化问题由专门定制的数据并行 Gauss-Newton 求解器求解。为达到超过 25Hz 的实时性能，我们使用 CPU 与两块商用 GPU 设计了流水线并行架构。我们的方法是首个全身性能捕捉的实时单目方法。其精度与离线性能捕捉技术相当，同时速度快了数个数量级。
引用
@article{arxiv.1810.02648,
title = {LiveCap: Real-time Human Performance Capture from Monocular Video},
author = {Marc Habermann and Weipeng Xu and Michael Zollhoefer and Gerard Pons-Moll and Christian Theobalt},
journal= {arXiv preprint arXiv:1810.02648},
year = {2019}
}