GLaMa：面向通用图像修复的联合空间与频域损失
计算机视觉与模式识别
2022-05-17 v1
摘要
图像修复的目的是利用剩余部分的上下文信息恢复划痕与受损区域。近年来，得益于卷积神经网络（CNNs）的复兴，图像修复任务取得了巨大突破。然而，大多数工作考虑的掩码类型不足，在遇到未见过的掩码时性能会急剧下降。为应对这些挑战，我们基于 LaMa 图像修复框架提出了一种简单而通用的方法来解决该问题，称为 GLaMa。我们提出的 GLaMa 通过使用更多类型的掩码，能够更好地捕捉不同类型的缺失信息。通过在训练阶段纳入更多退化图像，我们可望增强模型针对各种掩码的鲁棒性。为得到更合理的结果，我们在传统空间重建损失与对抗损失之外进一步引入了基于频率的损失。特别地，我们在空间域与频域同时引入有效的重建损失，以减轻重建图像中的棋盘效应与波纹。大量实验表明，在 FFHQ、ImageNet、Places2 和 WikiArt 数据集上，我们的方法针对每种掩码类型均能超越原始 LaMa 方法的性能。所提出的 GLaMa 在 NTIRE 2022 图像修复挑战赛 Track 1 无监督任务中，以 PSNR、LPIPS 和 SSIM 指标排名第一。
引用
@article{arxiv.2205.07162,
title = {GLaMa: Joint Spatial and Frequency Loss for General Image Inpainting},
author = {Zeyu Lu and Junjun Jiang and Junqin Huang and Gang Wu and Xianming Liu},
journal= {arXiv preprint arXiv:2205.07162},
year = {2022}
}
备注
IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)