DeepMultiCap：基于稀疏多视角相机的多人表演捕捉方法
计算机视觉与模式识别
2021-08-31 v2
摘要
我们提出了 DeepMultiCap，一种利用稀疏多视角相机进行多人表演捕捉的新方法。我们的方法能够捕捉随时间变化的表面细节，而无需使用预扫描的模板模型。为应对近距离交互场景中严重的遮挡挑战，我们将一种近期提出的像素对齐隐函数与参数化模型相结合，以对不可见表面区域进行鲁棒重建。我们设计了一个有效的注意力感知模块，从多视角图像中获取细粒度几何细节，从而生成高保真结果。除空间注意力方法外，针对视频输入，我们进一步提出了一种新颖的时间融合方法，以缓解运动角色重建中的噪声与时间不一致性。在定量评估方面，我们贡献了一个高质量多人数据集 MultiHuman，其包含 150 个具有不同遮挡程度级别的静态场景以及真实三维人体模型。实验结果表明，我们的方法达到了最先进的性能，并对真实多视角视频数据具有良好的泛化能力，大幅优于先前的工作。
引用
@article{arxiv.2105.00261,
title = {DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras},
author = {Yang Zheng and Ruizhi Shao and Yuxiang Zhang and Tao Yu and Zerong Zheng and Qionghai Dai and Yebin Liu},
journal= {arXiv preprint arXiv:2105.00261},
year = {2021}
}