FreqMamba：从频率视角看 Mamba 用于图像去雨
计算机视觉与模式识别
2024-08-13 v2
摘要
被雨条纹破坏的图像通常会丢失感知所需的关键频率信息，而图像去雨旨在解决这一问题，这依赖于全局和局部退化建模。近期的研究见证了 Mamba 基于利用图像块间的局部相关性来感知全局和局部信息的有效性和高效性，然而，鲜有研究探索将其与频率分析相结合用于图像去雨，这限制了其感知与频率建模（如傅里叶变换）相关的全局退化的能力。在本文中，我们提出了 FreqMamba，一种利用 Mamba 和频率分析互补性进行图像去雨的高效范式。我们方法的核心在于从两个视角将 Mamba 与频率分析相结合：利用频带进行扩展以挖掘频率相关性，并将其与傅里叶变换相连接以进行全局退化建模。具体而言，FreqMamba 引入了包含空间 Mamba、频带 Mamba 和傅里叶全局建模的互补三元交互结构。频带 Mamba 将图像分解为不同频率的子带，以允许从频率维度进行二维扫描。此外，利用 Mamba 独特的数据依赖特性，我们使用不同尺度的雨图像为网络提供退化先验，从而促进高效训练。大量实验表明，我们的方法在视觉和定量上均优于现有最先进的方法。
引用
@article{arxiv.2404.09476,
title = {FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining},
author = {Zou Zhen and Yu Hu and Zhao Feng},
journal= {arXiv preprint arXiv:2404.09476},
year = {2024}
}