LumiGAN：可重光照三维人脸的无条件生成
计算机视觉与模式识别
2023-04-27 v1 图形学
机器学习
摘要
从无结构的二维图像数据中无监督学习三维人脸是一个活跃的研究领域。尽管近期工作已实现了令人印象深刻的真实感水平，但它们通常缺乏光照控制，这阻碍了所生成资产在新环境中的部署。为此，我们提出 LumiGAN，一种用于三维人脸的无条件生成对抗网络（GAN），其带有基于物理的光照模块，可在推理时于新光照下实现重光照。与先前工作不同，LumiGAN 利用以自监督方式学习的高效可见性公式来创建真实的阴影效果。LumiGAN 在没有任何真值数据的情况下生成用于可重光照人脸的似是而非的物理属性，包括表面法线、漫反射反照率和镜面色调。除可重光照性外，我们展示了相较于最先进的不可重光照三维 GAN 显著改进的几何生成，以及比现有可重光照 GAN 明显更好的真实感。
引用
@article{arxiv.2304.13153,
title = {LumiGAN: Unconditional Generation of Relightable 3D Human Faces},
author = {Boyang Deng and Yifan Wang and Gordon Wetzstein},
journal= {arXiv preprint arXiv:2304.13153},
year = {2023}
}
备注
Project page: https://boyangdeng.com/projects/lumigan