基于参考图像与可变形注意力 Transformer 的图像超分辨率
计算机视觉与模式识别
2022-08-08 v2
摘要
基于参考图像的图像超分辨率 (RefSR) 旨在利用辅助参考 (Ref) 图像对低分辨率 (LR) 图像进行超分辨率重建。近来，RefSR 因提供了超越单图像超分辨率的替代方案而备受关注。然而，解决 RefSR 问题存在两个关键挑战：(i) 当 LR 与 Ref 图像差异显著时，难以匹配二者间的对应关系；(ii) 如何将 Ref 图像中的相关纹理迁移以补偿 LR 图像的细节极具挑战性。为解决 RefSR 的这些难题，本文提出一种可变形注意力 Transformer，即 DATSR，其具有多尺度结构，每一尺度由纹理特征编码器 (TFE) 模块、基于参考的可变形注意力 (RDA) 模块和残差特征聚合 (RFA) 模块组成。具体而言，TFE 首先提取对 LR 与 Ref 图像光照等变换不敏感的纹理特征，RDA 随后可利用多种相关纹理为 LR 特征补偿更多信息，RFA 最后聚合 LR 特征与相关纹理以获得视觉更愉悦的结果。大量实验表明，我们的 DATSR 在基准数据集上定量与定性均达到了最先进的性能。
引用
@article{arxiv.2207.11938,
title = {Reference-based Image Super-Resolution with Deformable Attention Transformer},
author = {Jiezhang Cao and Jingyun Liang and Kai Zhang and Yawei Li and Yulun Zhang and Wenguan Wang and Luc Van Gool},
journal= {arXiv preprint arXiv:2207.11938},
year = {2022}
}
备注
ECCV 2022