ReGANIE：修正 GAN 反演误差以实现精准真实图像编辑
计算机视觉与模式识别
2023-02-01 v1 图像与视频处理
摘要
StyleGAN 系列在高质量图像生成方面取得成功，并允许通过操控语义丰富的潜在风格空间对生成图像进行灵活且合理的编辑。然而，将真实图像投影到其潜在空间时，会在反演质量与可编辑性之间遇到固有的权衡。现有的基于编码器或基于优化的 StyleGAN 反演方法试图缓解该权衡，但性能有限。为从根本上解决此问题，我们提出了一种新颖的两阶段框架，通过指定两个独立的网络分别处理编辑与重建，而非在二者间取得平衡。具体而言，在第一阶段，训练一个面向 W 空间的 StyleGAN 反演网络并用于执行图像反演与编辑，这保证了可编辑性但牺牲了重建质量。在第二阶段，利用一个精心设计的修正网络来纠正反演误差并实现理想重建。实验结果表明，我们的方法在不牺牲可编辑性的前提下实现了近乎完美的重建，从而允许对真实图像进行精确操控。此外，我们评估了修正网络的性能，并观察到其对未见过的操控类型及域外图像具有良好的泛化能力。
引用
@article{arxiv.2301.13402,
title = {ReGANIE: Rectifying GAN Inversion Errors for Accurate Real Image Editing},
author = {Bingchuan Li and Tianxiang Ma and Peng Zhang and Miao Hua and Wei Liu and Qian He and Zili Yi},
journal= {arXiv preprint arXiv:2301.13402},
year = {2023}
}