基于GAN反演的高保真图像修复
计算机视觉与模式识别
2022-08-26 v1
摘要
图像修复旨在依据未掩码内容以语义一致的方式恢复受损图像。以往方法通常复用训练良好的GAN作为有效先验，通过GAN反演为缺失孔洞生成逼真图像块。然而，这些算法忽略硬约束可能导致GAN反演与图像修复之间存在差距。针对该问题，本文设计了一种用于图像修复的新型GAN反演模型，称为InvertFill，主要由带预调制模块的编码器与具有F&W+潜空间的GAN生成器组成。在编码器内，预调制网络利用多尺度结构将更具判别性的语义编码为风格向量。为弥合GAN反演与图像修复间的差距，提出F&W+潜空间以消除明显的颜色差异与语义不一致。为重建忠实且照片级真实的图像，设计了一个简洁高效的软更新均值潜变量模块，以捕捉更多样化的域内模式，从而为大面积损坏合成高保真纹理。在Places2、CelebA-HQ、MetFaces和Scenery四个具挑战性数据集上的综合实验表明，我们的InvertFill在定性与定量上均优于先进方法，并能很好地支持域外图像的补全。
引用
@article{arxiv.2208.11850,
title = {High-Fidelity Image Inpainting with GAN Inversion},
author = {Yongsheng Yu and Libo Zhang and Heng Fan and Tiejian Luo},
journal= {arXiv preprint arXiv:2208.11850},
year = {2022}
}
备注
Accepted to ECCV2022