DeepGIN：面向极端图像修复的深度生成修复网络
计算机视觉与模式识别
2020-08-18 v1
摘要
图像修复的难度取决于缺失部分的类型和大小。现有的图像修复方法通常难以在自然场景下完成缺失部分并取得令人满意的视觉与上下文效果，因为它们要么针对某一种特定类型的缺失模式（掩码）进行训练，要么单方面假设被掩蔽区域的形状和/或大小。我们提出了一种名为 DeepGIN 的深度生成修复网络，以处理各种类型的掩码图像。我们设计了空间金字塔膨胀（SPD）ResNet 模块，以利用远距离特征进行重建。我们还采用多尺度自注意力（MSSA）机制与反向投影（BP）技术来增强修复结果。我们的 DeepGIN 在总体上优于当前最优（SOTA）方法，包括在 FFHQ 和 Oxford Buildings 两个公开数据集上，无论是在定量还是定性方面。我们还展示了我们的模型能够完成自然场景下的掩码图像。
引用
@article{arxiv.2008.07173,
title = {DeepGIN: Deep Generative Inpainting Network for Extreme Image Inpainting},
author = {Chu-Tak Li and Wan-Chi Siu and Zhi-Song Liu and Li-Wen Wang and Daniel Pak-Kong Lun},
journal= {arXiv preprint arXiv:2008.07173},
year = {2020}
}
备注
17 pages (14 pages of main content + 3 pages references), 6 figures, 2 tables, submitted to ECCV'20