面向图像属性编辑的高保真 GAN 反演
计算机视觉与模式识别
2024-09-30 v4
摘要
我们提出了一种新颖的高保真生成对抗网络（GAN）反演框架，能够在良好保留图像特定细节（如背景、外观和光照）的情况下进行属性编辑。我们首先从有损数据压缩的角度分析了高保真 GAN 反演所面临的挑战。由于潜在码的比特率较低，先前的工作难以在重建和编辑后的图像中保留高保真细节。增大潜在码的尺寸可以提高 GAN 反演的精度，但会以可编辑性下降为代价。为了在不损害可编辑性的前提下提升图像保真度，我们提出了一种失真参考方法，利用失真图作为高保真重建的参考。在失真参考反演（DCI）中，失真图首先被投影到一个高比率潜在图，随后通过参考融合为基本的低比率潜在码补充更多细节。为实现高保真编辑，我们提出了一种带有自监督训练方案的自适应失真对齐（ADA）模块，以弥合编辑图像与反演图像之间的差距。在人脸和汽车领域的大量实验表明，反演与编辑质量均得到明显提升。
引用
@article{arxiv.2109.06590,
title = {High-Fidelity GAN Inversion for Image Attribute Editing},
author = {Tengfei Wang and Yong Zhang and Yanbo Fan and Jue Wang and Qifeng Chen},
journal= {arXiv preprint arXiv:2109.06590},
year = {2024}
}
备注
CVPR 2022; Project Page is at https://tengfei-wang.github.io/HFGI/