用于低光照图像增强的基于小波的 Mamba 与傅里叶调整模型
计算机视觉与模式识别
2024-10-29 v1 图像与视频处理
摘要
频率信息(例如离散小波变换和快速傅里叶变换)已被广泛应用于解决低光照图像增强(LLIE)问题。然而,现有的基于频率的模型主要在图像的简单小波或傅里叶空间中运行,缺乏对每个空间中有效全局和局部信息的利用。我们发现,由于低频分量,小波频率信息对全局亮度更敏感;而由于相位分量,傅里叶频率信息对局部细节更敏感。为了通过将空间通道信息与小波变换中的低频分量最优整合来实现卓越的初步亮度增强,我们引入了逐通道 Mamba,它弥补了 CNN 的长距离依赖缺陷,并且与 Diffusion 和 Transformer 模型相比复杂度更低。因此,在本工作中,我们提出了一种新颖的基于小波的 Mamba 与傅里叶调整模型,称为 WalMaFa,由基于小波的 Mamba 模块(WMB)和快速傅里叶调整模块(FFAB)组成。我们采用编码器-潜空间-解码器结构来完成端到端转换。具体而言,在编码器和解码器中采用 WMB 来增强全局亮度,而在潜空间中采用 FFAB 来微调局部纹理细节并减轻模糊性。大量实验表明,我们提出的 WalMaFa 以更少的计算资源和更快的速度实现了 SOTA 性能。代码现已公开于:https://github.com/mcpaulgeorge/WalMaFa。
引用
@article{arxiv.2410.20314,
title = {Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement},
author = {Junhao Tan and Songwen Pei and Wei Qin and Bo Fu and Ximing Li and Libo Huang},
journal= {arXiv preprint arXiv:2410.20314},
year = {2024}
}
备注
18 pages, 8 figures, ACCV2024