一种将图像变换至任意尺度的简单插件
计算机视觉与模式识别
2022-10-10 v1
摘要
现有的超分辨率模型通常专用于单一尺度，从根本上限制了它们在实际场景中的使用。本文旨在开发一种通用插件，可插入现有超分辨率模型中，便捷地增强其任意分辨率图像缩放能力，称之为ARIS。我们的贡献如下：(i) 提出一种基于Transformer的插件模块，该模块以空间坐标作为查询，通过交叉注意力迭代地关注低分辨率图像特征，并输出所查询空间位置的视觉特征，类似于图像的隐式表示；(ii) 引入一种新颖的自监督训练方案，利用一致性约束有效增强模型对未见尺度上采样图像的能力，即无需真实高分辨率图像；(iii) 在不失一般性的情况下，我们将所提ARIS插件模块注入若干现有模型，即IPT、SwinIR和HAT，结果表明所得模型不仅能保持其在固定尺度因子上的原始性能，还能外推至未见尺度，在标准基准（如Urban100、DIV2K等）上大幅优于现有的任意尺度超分辨率模型。
引用
@article{arxiv.2210.03417,
title = {A Simple Plugin for Transforming Images to Arbitrary Scales},
author = {Qinye Zhou and Ziyi Li and Weidi Xie and Xiaoyun Zhang and Ya Zhang and Yanfeng Wang},
journal= {arXiv preprint arXiv:2210.03417},
year = {2022}
}