中文

渐进残差对齐:面向GAN反演和图像属性编辑的双流框架

计算机视觉与模式识别 2024-02-23 v1 人工智能

摘要

基于GAN的图像属性编辑首先利用GAN反演将真实图像投影到GAN的潜在空间,然后操纵相应的潜在编码。最近的反演方法主要利用额外的高位特征来改善图像细节保留,因为低位编码无法忠实地重建源图像,导致细节丢失。然而,在编辑过程中,现有工作未能准确补充丢失的细节,并且编辑性差。主要原因是它们不加区分地一次性注入所有丢失的细节,这固有地导致细节的位置和数量过拟合源图像,导致编辑图像中出现不一致的内容和伪影。这项工作认为,细节应该以多阶段由粗到细的方式逐步注入到重建和编辑过程中,以获得更好的细节保留和高编辑性。因此,提出了一种新颖的双流框架来在每个阶段准确补充细节。重建流用于将由粗到细的丢失细节嵌入到残差特征中,然后自适应地添加到GAN生成器中。在编辑流中,通过我们的选择性注意力机制准确对齐残差特征,然后以多阶段方式注入到编辑过程中。大量实验表明,与现有方法相比,我们的框架在重建精度和编辑质量方面都具有优越性。

关键词

引用

@article{arxiv.2402.14398,
  title  = {Gradual Residuals Alignment: A Dual-Stream Framework for GAN Inversion and Image Attribute Editing},
  author = {Hao Li and Mengqi Huang and Lei Zhang and Bo Hu and Yi Liu and Zhendong Mao},
  journal= {arXiv preprint arXiv:2402.14398},
  year   = {2024}
}

备注

18 pages, 18 figures, published to AAAI24