FaceLit：神经 3D 可重光照人脸
计算机视觉与模式识别
2023-03-28 v1
摘要
我们提出一个生成框架 FaceLit，能够生成可在各种用户定义的照明条件和视角下渲染的 3D 人脸，仅从野外的 2D 图像学习，无需任何人工标注。与需要精细采集设置或人力的现有工作不同，我们依赖现成的姿态与光照估计器。利用这些估计，我们将 Phong 反射模型纳入神经体渲染框架。我们的模型学习生成人脸的形状与材质属性，使得当依据姿态与光照的自然统计渲染时，可生成具有多视角 3D 与光照一致性的逼真人脸图像。我们的方法在多个数据集——FFHQ、MetFaces 和 CelebA-HQ——上实现了具显式光照与视角控制的逼真人脸生成。我们在 FFHQ 数据集上展示了 3D 感知 GAN 中最先进的逼真度，取得了 3.5 的 FID 分数。
引用
@article{arxiv.2303.15437,
title = {FaceLit: Neural 3D Relightable Faces},
author = {Anurag Ranjan and Kwang Moo Yi and Jen-Hao Rick Chang and Oncel Tuzel},
journal= {arXiv preprint arXiv:2303.15437},
year = {2023}
}
备注
CVPR 2023