将 Transformer 设计融入卷积以实现轻量级图像超分辨率
计算机视觉与模式识别
2023-03-28 v1
摘要
近年来，大卷积核因能捕获长程依赖并提供大感受野，在设计卷积神经网络中变得流行。然而，核尺寸增大也导致参数量二次增长，带来沉重计算与内存需求。为应对此挑战，我们提出邻域注意力（NA）模块，以自注意力机制升级标准卷积。NA 模块以滑动窗口模式高效提取长程依赖，从而以更少参数取得与大卷积核相似的性能。基于 NA 模块，我们提出名为 TCSR 的轻量级单图像超分辨率（SISR）网络。此外，我们在 TCSR 中引入增强前馈网络（EFFN）以提升 SISR 性能。EFFN 采用无参数空间偏移操作进行高效特征聚合。我们大量的实验与消融研究表明，TCSR 优于现有轻量级 SISR 方法并达到最先进性能。我们的代码见 \url{https://github.com/Aitical/TCSR}。
引用
@article{arxiv.2303.14324,
title = {Incorporating Transformer Designs into Convolutions for Lightweight Image Super-Resolution},
author = {Gang Wu and Junjun Jiang and Yuanchao Bai and Xianming Liu},
journal= {arXiv preprint arXiv:2303.14324},
year = {2023}
}
备注
9 pages, 9 figures