提升 2D StyleGAN 用于 3D 感知人脸生成
计算机视觉与模式识别
2021-04-20 v2
摘要
我们提出一个名为 LiftedGAN 的框架，将预训练的 StyleGAN2 解耦并提升用于 3D 感知人脸生成。我们的模型之所以“3D 感知”，在于它能够(1)将 StyleGAN2 的潜空间解耦为纹理、形状、视角、光照，以及(2)生成用于渲染合成图像的 3D 分量。与多数先前方法不同，我们的方法完全自监督，即训练既不需要任何人工标注也不需要 3DMM 模型。相反，它借助可微渲染器从 StyleGAN2 中蒸馏先验知识，学习生成图像及其 3D 分量。所提模型能输出 3D 形状与纹理，允许对生成图像进行显式姿态与光照控制。定性与定量结果表明，在内容可控性上我们的方法优于现有的 3D 可控 GAN，同时生成逼真高质量图像。
引用
@article{arxiv.2011.13126,
title = {Lifting 2D StyleGAN for 3D-Aware Face Generation},
author = {Yichun Shi and Divyansh Aggarwal and Anil K. Jain},
journal= {arXiv preprint arXiv:2011.13126},
year = {2021}
}
备注
in CVPR 2021