双高光谱Mamba用于高效光谱压缩成像
图像与视频处理
2024-06-04 v1 计算机视觉与模式识别
摘要
深度展开方法通过卷积神经网络或Transformer，在光谱压缩成像中从二维测量恢复三维高光谱图像（HSI）方面取得了显著进展。然而，它们无法利用全局感受野高效地捕获长程依赖关系，这极大地限制了它们在HSI重建中的性能。此外，如果我们直接利用Mamba将二维特征图展开为一维序列以建模全局长程依赖关系，这些方法可能会遭受局部上下文忽略的问题。为应对这些挑战，我们提出了一种新颖的双高光谱Mamba（DHM），以探索全局长程依赖关系和局部上下文，实现高效的HSI重建。在学习用于估计CASSI系统退化模式的信息参数后，我们使用它们来缩放线性投影并为去噪器（即我们提出的DHM）提供噪声水平。具体来说，我们的DHM由多个双高光谱S4块（DHSB）组成，以恢复原始HSI。特别地，每个DHSB包含一个全局高光谱S4块（GHSB），用于利用全局感受野对整个高分辨率HSI的长程依赖关系进行建模；以及一个局部高光谱S4块（LHSB），用于通过在局部窗口内建立结构化状态空间序列（S4）模型来解决局部上下文忽略问题。实验验证了我们的DHM在HSI重建中的优势。源代码和模型将在 https://github.com/JiahuaDong/DHM 提供。
引用
@article{arxiv.2406.00449,
title = {Dual Hyperspectral Mamba for Efficient Spectral Compressive Imaging},
author = {Jiahua Dong and Hui Yin and Hongliu Li and Wenbo Li and Yulun Zhang and Salman Khan and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2406.00449},
year = {2024}
}
备注
13 pages, 6 figures