基于注意力的多参考图像超分辨率学习
计算机视觉与模式识别
2021-09-01 v1 人工智能
机器学习
摘要
本文提出一种新颖的基于注意力的多参考超分辨率网络（AMRSR），该网络在给定低分辨率图像的情况下，学习自适应地将多个参考图像中最相似的纹理迁移到超分辨率输出中，同时保持空间一致性。实验表明，在多个基准数据集上，多参考图像与基于注意力的采样的结合相比最先进的参考超分辨率方法实现了显著更优的性能。参考超分辨率方法近来被提出，通过从高分辨率参考图像提供额外信息以克服图像超分辨率的病态问题。多参考超分辨率扩展了该方法，提供更丰富的图像特征池以克服固有的信息缺失，同时保持内存效率。本文引入一种新颖的基于分层注意力采样的方法，基于感知损失来学习低分辨率图像特征与多个参考图像之间的相似性。消融实验证明了多参考与分层注意力采样对整体性能的贡献。感知与定量真值评估表明，即便参考图像与目标图像偏差显著，性能也有显著提升。项目网站见 https://marcopesavento.github.io/AMRSR/
引用
@article{arxiv.2108.13697,
title = {Attention-based Multi-Reference Learning for Image Super-Resolution},
author = {Marco Pesavento and Marco Volino and Adrian Hilton},
journal= {arXiv preprint arXiv:2108.13697},
year = {2021}
}