从 RGB-D 自拍重建高保真三维数字人头
计算机视觉与模式识别
2021-06-30 v2 图形学
摘要
我们提出一个全自动系统，可利用消费级 RGB-D 自拍相机生成高保真、照片级真实的三维数字人头。该系统仅需用户旋转头部拍摄一段简短的 RGB-D 自拍视频，便能在 30 秒内完成高质量头部重建。我们的主要贡献是一种显著提升现有最佳水平的面部几何建模与反射率合成流程。具体而言，给定输入视频，首先采用两阶段帧选择流程挑选出若干高质量帧用于重建。随后应用基于可微渲染器的三维可变形模型（3DMM）拟合算法，从多视角 RGB-D 数据中恢复面部几何，其利用了通过大量数据生成与扰动构建的强大 3DMM 基。我们的 3DMM 比传统 3DMM 具有大得多的表达能力，使我们仅用线性基即可恢复更精确的面部几何。对于反射率合成，我们提出一种结合参数化拟合与 CNN 的混合方法，以合成具有高分辨率反照率/法线贴图及真实发丝/毛孔/皱纹细节的结果。结果表明，我们的系统能生成具有极度真实细节的逼真三维数字人脸。主要代码与新构建的 3DMM 基已公开可用。
引用
@article{arxiv.2010.05562,
title = {High-Fidelity 3D Digital Human Head Creation from RGB-D Selfies},
author = {Linchao Bao and Xiangkai Lin and Yajing Chen and Haoxian Zhang and Sheng Wang and Xuefei Zhe and Di Kang and Haozhi Huang and Xinwei Jiang and Jue Wang and Dong Yu and Zhengyou Zhang},
journal= {arXiv preprint arXiv:2010.05562},
year = {2021}
}
备注
Code: https://github.com/tencent-ailab/hifi3dface