面向单图像超分辨率的全局可学习注意力
计算机视觉与模式识别
2022-12-05 v1
摘要
自相似性对于探索单图像超分辨率（SISR）中的非局部纹理具有重要价值。研究者通常假设非局部纹理的重要性与其相似度得分正相关。本文中，我们惊讶地发现，在修复严重受损的查询纹理时，一些相似度较低但更接近目标的非局部纹理能够提供比高相似度纹理更准确、更丰富的细节。在这些情况下，低相似度并不意味着劣质，而通常是由不同尺度或方向导致的。利用这一发现，我们提出了一种全局可学习注意力（GLA），在训练过程中自适应地修正非局部纹理的相似度得分，而非仅使用固定的相似度评分函数（如点积）。所提出的 GLA 能够挖掘低相似度但细节更准确的非局部纹理以修复严重受损的纹理。此外，我们提议采用超比特局部敏感哈希（SB-LSH）作为 GLA 的预处理方法。借助 SB-LSH，GLA 的计算复杂度相对于图像尺寸从二次降为渐近线性。另外，所提出的 GLA 可作为高效通用构建模块集成到现有深度 SISR 模型中。基于 GLA，我们构建了深度可学习相似度网络（DLSN），其在不同退化类型（如模糊与噪声）的 SISR 任务上取得了最先进的性能。我们的代码与预训练 DLSN 已上传至 GitHub† 以供验证。
引用
@article{arxiv.2212.01057,
title = {Global Learnable Attention for Single Image Super-Resolution},
author = {Jian-Nan Su and Min Gan and Guang-Yong Chen and Jia-Li Yin and C. L. Philip Chen},
journal= {arXiv preprint arXiv:2212.01057},
year = {2022}
}
备注
16 pages, 16 figures