3D-FM GAN：面向三维可控人脸编辑
计算机视觉与模式识别
2022-08-25 v1
摘要
得益于生成对抗网络（GAN）的突破，三维可控人像合成取得了显著进展。然而，以精确的三维控制来编辑现有人脸图像仍然具有挑战性。虽然将 GAN 反演与一个三维感知的、从噪声到图像的 GAN 拼接起来是一种直接的解决方案，但它效率低下，并可能导致编辑质量明显下降。为弥补这一不足，我们提出 3D-FM GAN，一种专为三维可控人脸编辑设计的新型条件 GAN 框架，并且在端到端学习阶段之后无需任何调参。通过仔细地将输入人脸图像和三维编辑的基于物理的渲染编码进 StyleGAN 的潜空间，我们的图像生成器提供了高质量、保持身份、三维可控的人脸编辑。为有效学习这一新颖框架，我们开发了两种关键的训练策略以及一种显著提升朴素方案的新颖乘法共调制架构。通过大量评估，我们表明我们的方法在各种任务上优于先前的方法，具有更好的可编辑性、更强的身份保持和更高的真实感。此外，我们展示了我们的设计在大姿态编辑和域外图像上更好的泛化能力。
引用
@article{arxiv.2208.11257,
title = {3D-FM GAN: Towards 3D-Controllable Face Manipulation},
author = {Yuchen Liu and Zhixin Shu and Yijun Li and Zhe Lin and Richard Zhang and S. Y. Kung},
journal= {arXiv preprint arXiv:2208.11257},
year = {2022}
}
备注
Accepted to ECCV2022. Project webpage: https://lychenyoko.github.io/3D-FM-GAN-Webpage/