SwinFIR：以快速傅里叶卷积与改进训练重访 SwinIR 用于图像超分辨率
计算机视觉与模式识别
2023-09-26 v3
摘要
基于 Transformer 的方法因相较 CNN 方法更能建模长程依赖，取得了令人瞩目的图像复原性能。然而，SwinIR 等进展采用基于窗口的局部注意力策略，以权衡性能与计算开销，这限制了在早期层利用大感受野捕获全局信息并建立长程依赖。为进一步提升捕获全局信息的效率，本文提出 SwinFIR，通过替换具有图像级感受野的快速傅里叶卷积（FFC）组件来扩展 SwinIR。我们还重访其他先进技术，即数据增强、预训练与特征集成，以改善图像重建效果。我们的特征集成方法可在不增加训练与测试时间的前提下显著增强模型性能。我们将算法应用于多个流行的大规模基准，并相较已有方法取得了最先进（SOTA）性能。例如，我们的 SwinFIR 在 Manga109 数据集上达到 32.83 dB 的 PSNR，比 SOTA 的 SwinIR 方法高出 0.8 dB。
引用
@article{arxiv.2208.11247,
title = {SwinFIR: Revisiting the SwinIR with Fast Fourier Convolution and Improved Training for Image Super-Resolution},
author = {Dafeng Zhang and Feiyu Huang and Shizhuo Liu and Xiaobing Wang and Zhezhu Jin},
journal= {arXiv preprint arXiv:2208.11247},
year = {2023}
}