MulayCap：使用单目视频摄像机的多层人体性能捕捉
计算机视觉与模式识别
2020-10-05 v3
摘要
我们介绍了 MulayCap，一种使用单目视频摄像机且无需预扫描的新型人体性能捕捉方法。该方法分别使用“多层”表示进行几何重建与纹理渲染。对于几何重建，我们将着衣人体分解为多个几何层，即身体网格层与衣物片层。其背后的关键技术是一种从视频生成衣物（GfV）的方法，基于通过梯度下降有效求解的布料模拟模型，优化衣物形状并重建动态布料以贴合输入视频序列。对于纹理渲染，我们将每帧输入图像分解为阴影层与反照率层，并提出一种融合固定反照率图并利用阴影层求解细致衣物几何的方法。与现有的单视角人体性能捕捉系统相比，我们的“多层”方法绕开了为获取特定人体网格模板而进行的繁琐且耗时的扫描步骤。实验结果表明，MulayCap 能逼真地渲染动态变化的细节，这是以往任何单目视频摄像机系统均未实现的。得益于其完全语义化的建模，MulayCap 可应用于多种重要的编辑应用，如衣物编辑、重定向、重光照以及 AR 应用。
引用
@article{arxiv.2004.05815,
title = {MulayCap: Multi-layer Human Performance Capture Using A Monocular Video Camera},
author = {Zhaoqi Su and Weilin Wan and Tao Yu and Lingjie Liu and Lu Fang and Wenping Wang and Yebin Liu},
journal= {arXiv preprint arXiv:2004.05815},
year = {2020}
}