基于单图像的自监督可重渲染人脸反照率重建
计算机视觉与模式识别
2022-06-07 v2 图形学
摘要
从单幅图像重建高保真 3D 人脸纹理是一项极具挑战的任务，原因在于完整人脸信息的缺失以及 3D 人脸与 2D 图像间的域差距。此外，获得可重渲染的 3D 人脸已成为许多应用中的强烈需求，其中“可重渲染”要求人脸纹理在空间上完整且与环境光照解耦。本文中，我们提出一种新的自监督深度学习框架，用于从自然场景中的单视图图像重建高质量且可重渲染的人脸反照率。我们的主要思路是首先利用基于 3DMM 代理模型的先验生成模块产生展开纹理和全局参数化先验反照率，然后应用细节精炼模块合成兼具高频细节与完整性的最终纹理。为进一步使人脸纹理与光照解耦，我们提出一种新颖的细节光照表示，其与细节反照率一同被重建。我们还设计了若干针对反照率图和光照图的新正则化损失，以促进这两者的解耦。最后，借助可微渲染器，各人脸属性可以自监督方式联合训练，无需真实人脸反射率。在具挑战性数据集上的大量对比与消融研究证明，我们的框架优于 SOTA 方法。
引用
@article{arxiv.2111.08282,
title = {Self-supervised Re-renderable Facial Albedo Reconstruction from Single Image},
author = {Mingxin Yang and Jianwei Guo and Zhanglin Cheng and Xiaopeng Zhang and Dong-Ming Yan},
journal= {arXiv preprint arXiv:2111.08282},
year = {2022}
}