用于真实图像编辑的域内 GAN 反演
计算机视觉与模式识别
2020-07-17 v3
摘要
近期研究表明，生成对抗网络（GANs）在训练合成图像时，其潜空间中会涌现出多种语义。然而，难以将这些习得的语义用于真实图像编辑。将真实图像输入已训练 GAN 生成器的常见做法是将其反演回潜码。但现有反演方法通常侧重于按像素值重建目标图像，却未能使反演码落入原始潜空间的语义域。因此，重建图像无法通过改变反演码来很好地支持语义编辑。为解决此问题，我们提出一种域内 GAN 反演方法，其不仅忠实重建输入图像，还确保反演码在语义上可用于编辑。我们首先学习一个新颖的域引导编码器，将给定的图像投影到 GANs 的原生潜空间。随后提出域正则化优化，将编码器作为正则化项来微调编码器产生的码，以更好地恢复目标图像。大量实验表明，我们的反演方法实现了令人满意的真实图像重建，且更重要的是促进了多种图像编辑任务，显著优于当前最优方法。
引用
@article{arxiv.2004.00049,
title = {In-Domain GAN Inversion for Real Image Editing},
author = {Jiapeng Zhu and Yujun Shen and Deli Zhao and Bolei Zhou},
journal= {arXiv preprint arXiv:2004.00049},
year = {2020}
}
备注
ECCV 2020 camera-ready