利用元注意力层提升超分辨率性能
摘要
卷积神经网络（CNNs）已在许多超分辨率（SR）与图像复原任务中取得令人印象深刻的成果。虽然许多此类网络仅利用原始像素级信息即可对低分辨率（LR）图像进行上采样，但 SR 的病态性使得准确超分辨经历多种不同退化的图像变得困难。描述退化过程（如所施加的模糊核、压缩级别等）的附加信息（元数据）可引导网络以更高保真度对 LR 图像超分辨至原始来源。先前将退化参数引入 SR 网络的尝试确实在若干场景中提升了性能。然而，由于许多 SR 网络的完全卷积性质，大多数此类元数据融合方法要么需要彻底的架构改变，要么必须增加显著的额外复杂度。因此，这些方法难以在不大幅改动设计的情况下引入任意 SR 网络。本文中，我们引入元注意力（meta-attention），一种允许任意 SR CNN 利用相关退化参数中可用信息的简单机制。该机制通过将元数据转换为通道注意力向量，进而选择性地调制网络的特征图来发挥作用。将元注意力融入 SR 网络十分直接，因其无需特定架构类型即可正确工作。大量测试表明，当提供相关退化元数据时，元注意力能持续提升最先进（SOTA）网络的像素级精度。就 PSNR 而言，在模糊/下采样（X4）图像上，SOTA 通用与人脸 SR 模型的平均增益分别为 0.2969 dB 与 0.3320 dB。
引用
@article{arxiv.2110.14638,
title = {Improving Super-Resolution Performance using Meta-Attention Layers},
author = {Matthew Aquilina and Christian Galea and John Abela and Kenneth P. Camilleri and Reuben A. Farrugia},
journal= {arXiv preprint arXiv:2110.14638},
year = {2021}
}
备注
Accepted for publication in the IEEE Signal Processing Letters. This is the accepted version of the paper, for the final formatted version and supplementary information, please visit the IEEE's publication at the linked DOI