革新图像超分辨率：一种基于ConvFormer的高效方法
计算机视觉与模式识别
2024-10-22 v2 图像与视频处理
摘要
单图像超分辨率（SISR）的最新进展已取得显著性能，但这些方法的计算成本仍是其在资源受限设备上部署的挑战。特别是，利用自注意力机制的Transformer类方法带来了重大突破，但也引入了巨大的计算开销。为解决这一问题，我们引入了卷积Transformer层（ConvFormer），并提出了一种基于ConvFormer的超分辨率网络（CFSR），为轻量级图像超分辨率提供了一种有效且高效的解决方案。所提方法继承了卷积方法和Transformer方法的优点。具体而言，CFSR利用大核卷积作为特征混合器来替代自注意力模块，以最小的计算开销高效建模长程依赖和广阔的感受野。此外，我们提出了一种边缘保持前馈网络（EFN），旨在实现局部特征聚合的同时有效保留高频信息。大量实验表明，与现有轻量级SR方法相比，CFSR在计算成本和性能之间取得了最佳平衡。当与ShuffleMixer等最先进方法进行基准对比时，所提出的CFSR在Urban100数据集上针对×2超分辨率任务实现了0.39 dB的增益，同时分别减少了26%和31%的参数量和FLOPs。代码和预训练模型可在https://github.com/Aitical/CFSR获取。
引用
@article{arxiv.2401.05633,
title = {Transforming Image Super-Resolution: A ConvFormer-based Efficient Approach},
author = {Gang Wu and Junjun Jiang and Junpeng Jiang and Xianming Liu},
journal= {arXiv preprint arXiv:2401.05633},
year = {2024}
}
备注
Accepted by IEEE TIP