RGI：用于无掩码图像修复与无监督像素级异常检测的鲁棒GAN反演
计算机视觉与模式识别
2023-02-27 v1 机器学习
摘要
在大规模图像数据集上训练的生成对抗网络（GANs）可良好近似自然图像流形。GAN反演以预训练生成器作为深度生成先验，是腐蚀下图像复原的有前景工具。然而，GAN反演的性能可能受限于对未知严重腐蚀缺乏鲁棒性，即复原图像易偏离真实值。本文提出一种具有可证明鲁棒性保证的鲁棒GAN反演（RGI）方法，以在未知\textit{严重}腐蚀（少量像素完全腐蚀）下实现图像复原。在温和假设下，我们证明复原图像与识别出的腐蚀区域掩码渐近收敛于真实值。此外，我们将RGI扩展为Relaxed-RGI（R-RGI）以进行生成器微调，缩小GAN所学流形与真实图像流形间的差距，同时避免对腐蚀输入图像的平凡过拟合，进一步提升图像复原与腐蚀区域掩码识别性能。所提RGI/R-RGI方法统一了两项具最先进（SOTA）性能的重要应用：（i）无掩码语义修复，其中腐蚀为未知缺失区域，复原背景可用于恢复缺失内容；（ii）无监督像素级异常检测，其中腐蚀为未知异常区域，检索出的掩码可用作异常区域分割掩码。
引用
@article{arxiv.2302.12464,
title = {RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection},
author = {Shancong Mou and Xiaoyi Gu and Meng Cao and Haoping Bai and Ping Huang and Jiulong Shan and Jianjun Shi},
journal= {arXiv preprint arXiv:2302.12464},
year = {2023}
}