基于3D模仿-对比学习的解耦可控人脸图像生成
计算机视觉与模式识别
2020-09-07 v2
摘要
我们提出DiscoFaceGAN，一种用于生成虚拟人物人脸图像的方法，其具有针对不存在人物的身份、表情、姿态和光照的解耦、精确可控的潜表示。我们将3D先验嵌入对抗学习中，并训练网络模仿解析性3D人脸形变与渲染过程的图像生成。为处理由真实人脸与渲染人脸之间的域间隙所引起的生成自由度，我们进一步引入对比学习，通过比较生成图像对来促进解耦。实验表明，通过我们的模仿-对比学习，因子变化得到了非常好的解耦，且生成人脸的属性可被精确控制。我们还分析了学习到的潜空间，并给出了若干支持因子解耦的有意义性质。我们的方法也可用于将真实图像嵌入解耦潜空间。我们希望我们的方法能为物理属性与深度图像合成之间的关系提供新的理解。
引用
@article{arxiv.2004.11660,
title = {Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning},
author = {Yu Deng and Jiaolong Yang and Dong Chen and Fang Wen and Xin Tong},
journal= {arXiv preprint arXiv:2004.11660},
year = {2020}
}
备注
Accepted by CVPR2020 (Oral)