基于 GAN 反演的多样化图像修复与编辑
计算机视觉与模式识别
2023-07-28 v1
摘要
近期的反演方法表明，真实图像可以被反演到 StyleGAN 的潜空间中，并且由于训练良好的 GAN 模型的语义丰富特征表示，可以在这些图像上实现大量编辑。然而，广泛的研究也表明，由于高保真重建与可编辑性之间的权衡，图像反演具有挑战性。在本文中，我们处理一个更困难的任务：将擦除图像反演到 GAN 的潜空间以实现逼真的修复与编辑。此外，通过用不同的潜样本扩充反演的潜码，我们实现了多样化的修复。具体而言，我们提出学习一个编码器与混合网络，将来自擦除图像的编码特征与来自随机样本的 StyleGAN 映射特征相结合。为了鼓励混合网络利用两种输入，我们通过一种新颖的设置使用生成数据训练网络。我们还利用更高比率的特征来防止修复部分与未擦除部分之间的颜色不一致。我们进行了大量实验，并将我们的方法与最先进的反演和修复方法进行比较。定性指标与视觉比较显示出显著改进。
引用
@article{arxiv.2307.15033,
title = {Diverse Inpainting and Editing with GAN Inversion},
author = {Ahmet Burak Yildirim and Hamza Pehlivan and Bahri Batuhan Bilecen and Aysegul Dundar},
journal= {arXiv preprint arXiv:2307.15033},
year = {2023}
}
备注
ICCV 2023