用于高分辨率图像修复的生成器金字塔
计算机视觉与模式识别
2020-12-07 v1 图像与视频处理
摘要
修复具有大缺失区域的高分辨率图像对现有的基于深度学习的图像修复方法提出了挑战。我们提出了一种用于高分辨率图像修复任务的新型框架——PyramidFill，其显式地解耦了内容补全与纹理合成。PyramidFill 尝试在较低分辨率图像中补全未知区域的内容，并逐步地在较高分辨率图像中合成未知区域的纹理。因此，我们的模型由一个全卷积 GAN 的金字塔组成，其中内容 GAN 负责在最低分辨率的掩码图像中补全内容，而每个纹理 GAN 负责在较高分辨率图像中合成纹理。由于内容补全与纹理合成对生成器要求不同的能力，我们为内容 GAN 和纹理 GAN 定制了不同的架构。在包括 CelebA-HQ、Places2 以及一个新自然风景数据集（NSHQ）在内的多个不同分辨率数据集上的实验表明，PyramidFill 比最先进的方法生成了更高质量的修复结果。为了更好地评估高分辨率图像修复方法，我们将发布 NSHQ，即分辨率为 19201080 的高质量自然风景图像。
引用
@article{arxiv.2012.02381,
title = {Generator Pyramid for High-Resolution Image Inpainting},
author = {Leilei Cao and Tong Yang and Yixu Wang and Bo Yan and Yandong Guo},
journal= {arXiv preprint arXiv:2012.02381},
year = {2020}
}
备注
Under review