S2R：探索一种双赢的基于 Transformer 的框架用于理想与盲超分辨率
计算机视觉与模式识别
2023-08-17 v1
摘要
如今，基于深度学习的方法在理想超分辨率（SR）数据集上已展现出令人印象深刻的性能，但当直接应用于具有不可预测模糊核的真实世界 SR 重建任务时，多数方法性能急剧下降。为解决此问题，盲 SR 方法被提出以改善随机模糊核上的视觉结果，但这同样导致在理想低分辨率图像上重建效果不尽如人意。本文中，我们提出一种面向理想与盲 SR 任务的双赢框架，称为 S2R，包含一个轻量基于 Transformer 的 SR 模型（S2R transformer）和一种新颖的由粗到细训练策略，可在理想与随机模糊条件下均取得优异视觉结果。在算法层面，S2R transformer 巧妙组合若干高效轻量模块，以相对较少的参数增强所提取特征的表示能力。在训练策略上，首先执行粗粒度学习过程，借助大规模外部数据集提升网络泛化性，随后开发快速微调过程，通过挖掘图像内部特征将预训练模型迁移至真实世界 SR 任务。实验结果表明，所提 S2R 在理想 SR 条件下以仅 578K 参数优于其他单图像 SR 模型。同时，在盲模糊条件下仅需 10 次梯度更新即可取得优于常规盲 SR 模型的视觉结果，收敛速度提升 300 倍，显著加速了真实场景中的迁移学习过程。
引用
@article{arxiv.2308.08142,
title = {S2R: Exploring a Double-Win Transformer-Based Framework for Ideal and Blind Super-Resolution},
author = {Minghao She and Wendong Mao and Huihong Shi and Zhongfeng Wang},
journal= {arXiv preprint arXiv:2308.08142},
year = {2023}
}