GridFormer：具有网格结构的残差稠密 Transformer 用于恶劣天气条件下的图像复原

恶劣天气条件下的图像复原是计算机视觉中的一项困难任务。本文中，我们提出一种名为 GridFormer 的基于 Transformer 的新框架，作为恶劣天气条件下图像复原的骨干网络。GridFormer 采用残差稠密 Transformer 块以网格结构设计，并引入两项核心设计。首先，其在 Transformer 层中使用了增强注意力机制。该机制包含采样器与紧凑自注意力阶段以提升效率，以及局部增强阶段以强化局部信息。其次，我们引入残差稠密 Transformer 块（RDTB）作为最终的 GridFormer 层。该设计进一步提升了网络从先前与当前局部特征中学习有效特征的能力。GridFormer 框架在恶劣天气条件下五项不同的图像复原任务上取得了最先进（SOTA）结果，包括图像去雨、去雾、去雨去雾、除雪与多天气复原。源代码与预训练模型可在 https://github.com/TaoWangzj/GridFormer 获取。