面向雨雪天气去除的高效有效 Transformer
计算机视觉与模式识别
2023-10-30 v2
摘要
雨雪天气去除是天气退化图像复原中的一项专门任务，旨在消除共存的雨纹和雪粒。本文提出 RSFormer，一种高效且有效的 Transformer 来解决该挑战。首先，我们探究卷积网络（ConvNets）与视觉 Transformer（ViTs）在分层架构中的相近性，并通过实验发现它们在阶段内特征学习上表现近似。在此基础上，我们利用类 Transformer 卷积块（TCB）替代计算昂贵的自注意力，同时保留适应输入内容的注意力特性。我们还证明跨阶段推进对性能提升至关重要，并提出全局-局部自注意力采样机制（GLASM），在降/上采样特征的同时捕获全局与局部依赖。最后，我们合成两个新颖的雨雪数据集 RSCityScape 和 RS100K 来评估所提 RSFormer。大量实验验证，与其他复原方法相比，RSFormer 在性能与耗时之间取得最佳权衡。例如，它以参数数量减少 1.53% 和推理时间减少 15.6% 优于 Restormer。数据集、源代码和预训练模型可在 \url{https://github.com/chdwyb/RSFormer} 获取。
引用
@article{arxiv.2304.02860,
title = {Towards an Effective and Efficient Transformer for Rain-by-snow Weather Removal},
author = {Tao Gao and Yuanbo Wen and Kaihao Zhang and Peng Cheng and Ting Chen},
journal= {arXiv preprint arXiv:2304.02860},
year = {2023}
}
备注
code is available at \url{https://github.com/chdwyb/RSFormer}