基于无监督域自适应的 GAN 反演图像编辑方法
计算机视觉与模式识别
2024-05-31 v3
摘要
现有 GAN 反演方法在重建高质量(HQ)图像方面表现出色,但在实际应用中难以处理更常见的低质量(LQ)输入。为解决此问题,我们在反演过程中提出无监督域自适应(UDA),即 UDA-inversion,用于对 HQ 与 LQ 图像的有效反演与编辑。将成对的 HQ 图像视为源域、LQ 图像视为无标签目标域,我们引入一个理论保证:目标域中的损失值以源域损失及衡量两域差异的新颖差异函数为上界。据此,我们只需最小化该上界即可获得 HQ 与 LQ 图像的准确潜码。从而,可在无监督下自发学习 HQ 图像的构造性表示并转化为 LQ 图像。UDA-Inversion 在 FFHQ 数据集上取得了 22.14 的更优 PSNR,并与监督方法性能相当。
引用
@article{arxiv.2211.12123,
title = {GAN Inversion for Image Editing via Unsupervised Domain Adaptation},
author = {Siyu Xing and Chen Gong and Hewei Guo and Xiao-Yu Zhang and Xinwen Hou and Yu Liu},
journal= {arXiv preprint arXiv:2211.12123},
year = {2024}
}