FourierMamba：基于状态空间模型的傅里叶学习图像雨去除
计算机视觉与模式识别
2024-08-08 v2 图像与视频处理
摘要
图像雨去除旨在从雨中图像中去除雨帖，并恢复清晰的背景。目前，一些采用傅里叶变换的研究证明了其在图像雨去除方面的有效性，因为傅里叶变换作为捕获雨帖的有效频率先验。然而，尽管低频和高频在图像中存在依赖关系，这些傅里叶方法却很少利用不同频率之间的相关性来连接它们的学习过程，限制了在图像雨去除中充分利用频率信息的潜力。另一方面，最近出现的Mamba技术显示出在 various 领域（如空间、时间）建模相关性方面的有效性和效率，我们认为将Mamba引入其未探索的傅里叶空间以关联不同频率，有助于提高图像雨去除效果。这促使我们提出了一种新的框架，称为FourierMamba，利用Mamba在傅里叶空间中进行图像雨去除。鉴于傅里叶空间中频率顺序的独特安排，FourierMamba的核心在于对不同频率的扫描编码，其中低频-高频顺序在空间维度（未沿轴排列）和通道维度（沿轴排列）上表现不同。因此，我们设计了FourierMamba，以在空间和通道维度上分别关联傅里叶空间信息。具体来说，在空间维度的傅里叶空间中，我们引入斜率编码来扫描频率，从而将顺序从低频到高频重新排列，以有序关联频率之间的连接；在通道维度的傅里叶空间中，由于频率顺序沿轴排列，我们可以直接使用Mamba进行频率关联并提高通道信息表示。
引用
@article{arxiv.2405.19450,
title = {FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining},
author = {Dong Li and Yidi Liu and Xueyang Fu and Senyan Xu and Zheng-Jun Zha},
journal= {arXiv preprint arXiv:2405.19450},
year = {2024}
}