中文

细节决定成败:StyleFeatureEditor用于细节丰富的StyleGAN反演与高质量图像编辑

计算机视觉与模式识别 2024-06-18 v1

摘要

通过StyleGAN反演操纵真实图像属性的任务已被广泛研究。该过程涉及从训练有素的StyleGAN生成器中搜索能够合成真实图像的潜在变量,修改这些潜在变量,然后合成具有所需编辑效果的图像。必须在重建质量和编辑能力之间取得平衡。早期研究利用低维W空间进行潜在搜索,这有助于有效编辑,但在重建复杂细节方面存在困难。最近的研究转向了高维特征空间F,它成功反演了输入图像,但在编辑过程中丢失了大量细节。在本文中,我们介绍了StyleFeatureEditor——一种新颖的方法,它能够在w-潜在变量和F-潜在变量中进行编辑。这种技术不仅允许重建更精细的图像细节,而且确保在编辑过程中保留这些细节。我们还提出了一种新的训练流程,专门用于训练我们的模型以准确编辑F-潜在变量。我们的方法与最先进的编码方法进行了比较,结果表明我们的模型在重建质量方面表现出色,并且能够编辑甚至具有挑战性的域外示例。代码可在 https://github.com/AIRI-Institute/StyleFeatureEditor 获取。

关键词

引用

@article{arxiv.2406.10601,
  title  = {The Devil is in the Details: StyleFeatureEditor for Detail-Rich StyleGAN Inversion and High Quality Image Editing},
  author = {Denis Bobkov and Vadim Titov and Aibek Alanov and Dmitry Vetrov},
  journal= {arXiv preprint arXiv:2406.10601},
  year   = {2024}
}

备注

Accepted to CVPR 2024