面向忠实重建与可编辑性的域内GAN反演
计算机视觉与模式识别
2023-09-26 v1
摘要
生成对抗网络(GANs)通过将随机采样的潜码映射到高保真合成图像，显著推进了图像合成。然而，将训练良好的GANs应用于真实图像编辑仍具挑战性。一种常见解是寻找一个能充分恢复输入图像以进行编辑的近似潜码，即GAN反演。为反演GAN模型，先前工作通常聚焦于在像素级重建目标图像，但鲜有研究考察反演结果能否在语义层面良好支持操控。本工作通过提出域内GAN反演填补此空白，其由域引导编码器与域正则化优化器组成，以在预训练GAN模型的原生潜空间中对反演码进行正则化。借此，我们得以充分复用GANs所学知识用于图像重建，促进无需任何重训的广泛编辑应用。我们进一步对编码器结构、反演起点以及反演参数空间的影响做了全面分析，并观察到重建质量与编辑属性之间的权衡。该权衡揭示了GAN模型如何以学习到的潜分布中编码的多种语义来表示图像。代码、模型与演示见项目页：https://genforce.github.io/idinvert/。
引用
@article{arxiv.2309.13956,
title = {In-Domain GAN Inversion for Faithful Reconstruction and Editability},
author = {Jiapeng Zhu and Yujun Shen and Yinghao Xu and Deli Zhao and Qifeng Chen and Bolei Zhou},
journal= {arXiv preprint arXiv:2309.13956},
year = {2023}
}