基于频率增强状态空间模型的图像去雨
计算机视觉与模式识别
2024-12-10 v4 图像与视频处理
摘要
去除图像中的雨滴退化被认为是一个重要问题。在该领域，基于深度学习的方法，如卷积神经网络（CNN）和Transformer，已取得成功。最近，状态空间模型（SSM）因其对长程依赖的建模能力，在自然语言处理和图像处理的多种任务中展现出优越性能。本研究将SSM引入图像去雨，并针对去雨任务进行了特定增强，提出了一种去雨频率增强状态空间模型（DFSSM）。为了有效去除在特定方向产生高强度频率分量的雨痕，我们同时采用频域处理与SSM。此外，我们开发了一种新颖的混合尺度门控卷积块，该块使用多种卷积核大小来有效捕获不同尺度的退化，并集成了门控机制以管理信息流。最后，在合成和真实雨天图像数据集上的实验表明，我们的方法超越了最先进的方法。代码可在 https://github.com/ShugoYamashita/DFSSM 获取。
引用
@article{arxiv.2405.16470,
title = {Image Deraining with Frequency-Enhanced State Space Model},
author = {Shugo Yamashita and Masaaki Ikehara},
journal= {arXiv preprint arXiv:2405.16470},
year = {2024}
}
备注
Accepted by Asian Conference on Computer Vision 2024 (ACCV2024)