基于退化感知自注意力的Transformer用于盲图像超分辨率
计算机视觉与模式识别
2023-10-09 v1
摘要
与基于CNN的方法相比，基于Transformer的方法因具备建模远程依赖的能力而取得了令人瞩目的图像复原效果。然而，如何将基于Transformer的方法应用于盲超分辨率（SR）领域，并进一步使SR网络适应退化信息，仍是一个开放性问题。本文提出一种新的退化感知自注意力Transformer模型，其中我们将对比学习引入Transformer网络，以学习含未知噪声的输入图像的退化表示。具体而言，我们将CNN与Transformer组件同时集成到SR网络中：首先使用由退化信息调制的CNN提取局部特征，随后采用退化感知Transformer提取全局语义特征。我们将所提模型应用于多个主流大规模基准数据集进行测试，相比现有方法取得了最先进的性能。特别地，我们的方法在Urban100数据集×2尺度下达到32.43 dB的PSNR，比DASR高0.94 dB；在Urban100数据集×4尺度下达到26.62 dB，较KDSR提升0.26 dB，在该领域树立了新的基准。源代码见：https://github.com/I2-Multimedia-Lab/DSAT/tree/main。
引用
@article{arxiv.2310.04180,
title = {Degradation-Aware Self-Attention Based Transformer for Blind Image Super-Resolution},
author = {Qingguo Liu and Pan Gao and Kang Han and Ningzhong Liu and Wei Xiang},
journal= {arXiv preprint arXiv:2310.04180},
year = {2023}
}
备注
12 pages