在小波域中探索状态空间模型:基于小波变换与状态空间模型的红外与可见光图像融合网络
计算机视觉与模式识别
2025-03-25 v1
摘要
深度学习技术已彻底改变了红外与可见光图像融合(IVIF)领域,在复杂场景下展现出卓越效能。然而,现有方法未能充分结合频域特征与全局语义信息,导致跨模态全局特征提取欠优以及局部纹理细节保留不足。为解决这些问题,我们提出了 Wavelet-Mamba(W-Mamba),将小波变换与状态空间模型(SSM)相融合。具体而言,我们引入了 Wavelet-SSM 模块,通过 SSM 整合基于小波的频域特征提取与全局信息提取,从而有效捕获全局与局部特征。此外,我们提出了跨模态特征注意力调制,以促进不同模态之间的高效交互与融合。实验结果表明,我们的方法在视觉效果与性能上均优于当前最先进的方法。代码已公开于 https://github.com/Lmmh058/W-Mamba。
引用
@article{arxiv.2503.18378,
title = {Exploring State Space Model in Wavelet Domain: An Infrared and Visible Image Fusion Network via Wavelet Transform and State Space Model},
author = {Tianpei Zhang and Yiming Zhu and Jufeng Zhao and Guangmang Cui and Yuchen Zheng},
journal= {arXiv preprint arXiv:2503.18378},
year = {2025}
}