Zoom-to-Inpaint：具有高频细节的图像修复
计算机视觉与模式识别
2022-06-30 v3
摘要
尽管深度学习使图像修复取得了巨大进步，但当前方法往往无法合成逼真的高频细节。在本文中，我们提出对粗略重建的输出应用超分辨率，在高分辨率下对其进行细化，然后将输出下采样至原始分辨率。通过向细化网络引入高分辨率图像，我们的框架能够重建通常被平滑掉的更精细细节，这是由于谱偏置——神经网络倾向于更好地重建低频而非高频——所致。为了辅助在大幅放大的空洞上训练细化网络，我们提出了一种渐进式学习技术，其中缺失区域的大小随训练进程而增大。我们的放大、细化与缩小策略，结合高分辨率监督与渐进式学习，构成了一种与框架无关的增强高频细节的方法，可应用于任何基于 CNN 的修复方法。我们提供了定性、定量评估以及消融分析以展示我们方法的有效性。这种看似简单却强大的方法优于最先进的修复方法。我们的代码可在 https://github.com/google/zoom-to-inpaint 获取。
引用
@article{arxiv.2012.09401,
title = {Zoom-to-Inpaint: Image Inpainting with High-Frequency Details},
author = {Soo Ye Kim and Kfir Aberman and Nori Kanazawa and Rahul Garg and Neal Wadhwa and Huiwen Chang and Nikhil Karnad and Munchurl Kim and Orly Liba},
journal= {arXiv preprint arXiv:2012.09401},
year = {2022}
}
备注
Accepted to CVPRW 2022