一种用于单图像去雨的混合 Transformer-Mamba 网络

现有的去雨 Transformer 采用固定范围窗口或沿通道维度的自注意力机制，限制了对非局部感受野的利用。针对这一问题，我们引入了一种新颖的双分支混合 Transformer-Mamba 网络，称为 TransMamba，旨在有效捕获长程的雨相关依赖关系。基于雨退化与背景具有不同谱域特征的先验，我们在第一个分支上设计了谱带 Transformer 块。自注意力在谱域通道维度的组合内执行，以提高建模长程依赖关系的能力。为了增强频率特定信息，我们提出了一个在谱域聚合特征的谱增强前馈模块。在第二个分支中，Mamba 层配备了级联的双向状态空间模型模块，以额外捕获局部和全局信息的建模。在编码器和解码器的每个阶段，我们对双分支特征进行通道级拼接，并通过通道缩减实现特征融合，从而更有效地整合来自 Transformer 和 Mamba 分支的多尺度信息。为了更好地重建干净图像中固有的信号级关系，我们还开发了一种谱相干损失。在多种数据集和真实世界图像上的大量实验证明了我们的方法相较于最先进方法的优越性。