扭曲残差：利用 StyleGAN 进行图像编辑
计算机视觉与模式识别
2023-12-19 v1
摘要
StyleGAN 模型通过其语义可解释的潜在组织展示了编辑能力，这需要成功的 GAN 反演方法来编辑真实图像。许多工作已被提出用于将图像反演到 StyleGAN 的潜在空间中。然而，它们的结果要么对输入图像的保真度低，要么编辑质量差，特别是对于需要大幅变换的编辑。这是因为低率潜在空间由于信息瓶颈丢失了许多图像细节，尽管它提供了一个可编辑的空间。另一方面，高率潜在空间可以将所有图像细节传递给 StyleGAN 以实现图像的完美重建，但编辑质量较差。在这项工作中，我们提出了一种新颖的图像反演架构，该架构提取高率潜在特征，并包含一个光流估计模块来扭曲这些特征以适应编辑。光流是从已编辑和未编辑潜在码的 StyleGAN 特征中估计出来的。通过估计高率特征并对其进行扭曲以进行编辑，我们实现了对输入图像的高保真度和高质量的编辑。我们进行了广泛的实验，并将我们的方法与最先进的反演方法进行了比较。定性指标和视觉比较显示了显著的改进。
引用
@article{arxiv.2312.11422,
title = {Warping the Residuals for Image Editing with StyleGAN},
author = {Ahmet Burak Yildirim and Hamza Pehlivan and Aysegul Dundar},
journal= {arXiv preprint arXiv:2312.11422},
year = {2023}
}