GRFormer：用于轻量级单图像超分辨率的分组残差自注意力
计算机视觉与模式识别
2024-08-15 v1 图像与视频处理
摘要
先前的研究表明，减少基于 Transformer 的单图像超分辨率（SISR）模型（例如 SwinIR）的参数开销和计算量通常会导致性能下降。在本文中，我们提出了 GRFormer，一种高效且轻量的方法，它不仅减少了参数开销和计算量，还极大地提升了性能。GRFormer 的核心是分组残差自注意力（GRSA），它专门针对两个基本组件。首先，它引入了一种新颖的分组残差层（GRL）来替代自注意力中的查询、键、值（QKV）线性层，旨在同时有效减少参数开销、计算量和性能损失。其次，它集成了一个紧凑的指数空间相对位置偏置（ES-RPB）作为原始相对位置偏置的替代品，以提高表示位置信息的能力，同时进一步最小化参数数量。大量的实验结果表明，GRFormer 在 ×2、×3 和 ×4 的 SISR 任务上优于最先进的基于 Transformer 的方法，在 DIV2K 数据集上训练时，其 PSNR 最高超出 SOTA 0.23dB，同时仅在自注意力模块中就将参数数量和 MACs 分别减少了约 60% 和 49%。我们希望这种简单有效的方法能够轻松应用于基于窗口划分自注意力的 SR 模型，并成为图像超分辨率进一步研究的有用工具。代码可在 https://github.com/sisrformer/GRFormer 获取。
引用
@article{arxiv.2408.07484,
title = {GRFormer: Grouped Residual Self-Attention for Lightweight Single Image Super-Resolution},
author = {Yuzhen Li and Zehang Deng and Yuxin Cao and Lihua Liu},
journal= {arXiv preprint arXiv:2408.07484},
year = {2024}
}
备注
Accepted for ACM MM 2024