通过微调GAN编码器改进生成对抗网络反演
计算机视觉与模式识别
2024-12-13 v4 图像与视频处理
摘要
生成对抗网络（GAN）能够合成高质量（HQ）图像，而GAN反演是一种发现如何将给定图像反演回潜在空间的技术。尽管现有方法在StyleGAN反演上表现良好，但它们的性能有限，且无法泛化到不同的GAN。为解决这些问题，我们提出了一种自监督方法来预训练和微调GAN编码器。首先，我们设计了一个自适应模块，以适应不同的编码器架构，从而反演多样的GAN。然后，我们使用合成图像预训练GAN编码器，并通过裁剪图像来强调局部区域。最后，我们微调预训练的GAN编码器以反演真实图像。与最先进的方法相比，我们的方法在主流GAN上取得了更好的结果，重建出高质量图像。我们的代码和预训练模型可在以下链接获取：https://github.com/disanda/Deep-GAN-Encoders。
引用
@article{arxiv.2108.10201,
title = {Improving generative adversarial network inversion via fine-tuning GAN encoders},
author = {Cheng Yu and Wenmin Wang and Roberto Bugiolacchi},
journal= {arXiv preprint arXiv:2108.10201},
year = {2024}
}