RainMamba: 基于状态空间模型的增强局部学习用于视频去雨

室外视觉系统经常受到雨条和雨滴的污染，这会显著降低视觉任务和多媒体应用的性能。视频的本质特性表现出用于去雨的冗余时间线索，具有更高的稳定性。传统的视频去雨方法严重依赖光流估计和基于核的方法，这些方法的感受野有限。然而，Transformer 架构虽然能够实现长期依赖，但会带来计算复杂度的显著增加。最近，状态空间模型（SSM）的线性复杂度算子反而促进了高效的长时间时间建模，这对于去除视频中的雨条和雨滴至关重要。出人意料的是，其在视频上的一维顺序处理过程通过疏远相邻像素破坏了时空维度上的局部相关性。为了解决这一问题，我们提出了一种改进的基于 SSM 的视频去雨网络（RainMamba），采用一种新颖的希尔伯特扫描机制来更好地捕获序列级局部信息。我们还引入了一种差异引导的动态对比局部学习策略，以增强所提出网络的块级自相似学习能力。在四个合成视频去雨数据集和真实世界雨天视频上的大量实验证明了我们的网络在去除雨条和雨滴方面的有效性和效率。我们的代码和结果可在 https://github.com/TonyHongtaoWu/RainMamba 获取。