结构优先细节次之：基于金字塔生成器的图像修复
计算机视觉与模式识别
2021-08-06 v2
摘要
近期深度生成模型在图像修复中取得了令人瞩目的性能。然而，由于神经网络固有的谱偏差，让其生成逼真的图像细节与纹理仍极具挑战。基于我们对艺术家工作方式的理解，我们建议采用“结构优先、细节次之”的工作流进行图像修复。为此，我们提出通过堆叠若干子生成器来构建金字塔生成器（Pyramid Generator），其中底层子生成器专注于恢复图像结构，而高层子生成器着重于图像细节。给定输入图像，它将以自底向上的方式依次经过整个金字塔而逐步被修复。特别地，我们的方法具有逐步增大孔洞尺寸的学习方案，使其能够修复大孔洞图像。此外，我们的方法可充分利用高分辨率图像学习的优势，因此适用于高分辨率图像修复。在基准数据集上的大量实验结果验证了我们的方法相较于最先进（state-of-the-art）方法的有效性。
引用
@article{arxiv.2106.08905,
title = {Structure First Detail Next: Image Inpainting with Pyramid Generator},
author = {Shuyi Qu and Zhenxing Niu and Kaizhu Huang and Jianke Zhu and Matan Protter and Gadi Zimerman and Yinghui Xu},
journal= {arXiv preprint arXiv:2106.08905},
year = {2021}
}