结合分割混淆对抗训练与对比学习的生成式图像修复
计算机视觉与模式识别
2023-08-17 v1
摘要
本文提出一种结合分割混淆对抗训练（SCAT）与对比学习的图像修复新对抗训练框架。SCAT 在修复生成器与分割网络之间进行对抗博弈，提供像素级局部训练信号，并能适应具有自由形式孔洞的图像。通过将 SCAT 与标准全局对抗训练结合，新对抗训练框架同时具备以下三点优势：（1）修复图像的全局一致性，（2）修复图像的局部精细纹理细节，以及（3）处理自由形式孔洞图像的灵活性。此外，我们提出纹理与语义对比学习损失，利用判别器的特征表示空间来稳定并改进修复模型训练，其中修复图像被拉向真实图像而推离损坏图像。所提出的对比损失更好地引导修复图像在特征表示空间中从损坏图像数据点移向真实图像数据点，从而得到更真实的补全图像。我们在两个基准数据集上进行了大量实验，从定性和定量两方面证明了模型的有效性与优越性。
引用
@article{arxiv.2303.13133,
title = {Generative Image Inpainting with Segmentation Confusion Adversarial Training and Contrastive Learning},
author = {Zhiwen Zuo and Lei Zhao and Ailin Li and Zhizhong Wang and Zhanjie Zhang and Jiafu Chen and Wei Xing and Dongming Lu},
journal= {arXiv preprint arXiv:2303.13133},
year = {2023}
}
备注
Accepted to AAAI2023, Oral