SuperInpaint：用于超分辨率图像修复的细节增强注意力隐式表示学习
计算机视觉与模式识别
2023-07-28 v1
摘要
在本工作中，我们引入了一项具有挑战性的图像复原任务，称为 SuperInpaint，其旨在重建低分辨率图像中的缺失区域并生成任意更高分辨率的补全图像。我们发现，该任务无法通过堆叠最先进的超分辨率与图像修复方法来有效解决，因为它们会放大彼此的缺陷，导致明显的伪影。为克服这些局限，我们提出了细节增强注意力隐式表示（DEAR），其可通过单一模型实现 SuperInpaint，从而生成任意分辨率的高质量补全图像。具体而言，我们使用深度卷积网络提取输入图像的潜在嵌入，随后通过自适应高通滤波器增强该潜在嵌入的高频分量。这产生了细节增强的语义嵌入。我们进一步将语义嵌入送入一个无掩码注意力模块，以抑制来自无效掩码像素的嵌入。此外，我们提取一个逐像素重要性图，指示哪些像素应用于图像重建。给定欲重建像素的坐标，我们首先收集输入图像中其邻域像素并提取它们的细节增强语义嵌入、无掩码注意力语义嵌入、重要性值以及到目标像素的空间距离。然后，我们将上述所有项送入一个隐式表示并生成指定像素的颜色。为评估我们的方法，我们针对这一新任务扩展了三个现有数据集，并利用 SOTA 修复与超分辨率方法构建了 18 个有意义的基线。大量实验结果表明，我们的方法在四个广泛使用的指标上以显著优势优于所有现有方法。
引用
@article{arxiv.2307.14489,
title = {SuperInpaint: Learning Detail-Enhanced Attentional Implicit Representation for Super-resolutional Image Inpainting},
author = {Canyu Zhang and Qing Guo and Xiaoguang Li and Renjie Wan and Hongkai Yu and Ivor Tsang and Song Wang},
journal= {arXiv preprint arXiv:2307.14489},
year = {2023}
}