细节决定一切：基于 Mamba 思路的联合展开网络用于快照谱压缩成像
计算机视觉与模式识别
2025-01-03 v1
摘要
在编码孔雀式光谱成像系统中，深度展开网络(DUN)在从单个二维测量中恢复三维高光谱图像(HSIs)方面取得了显著进展。然而，HSI重建的固有非线性和欠定性特征仍然给现有方法在准确性和稳定性方面带来挑战。为此，我们提出了受 Mamba 思路启发的联合展开网络(MiJUN)，其将物理嵌入的DUN与基于学习的HSI成像相结合。首先，利用梯形离散化概念扩展展开网络的表示空间，我们引入了加速展开网络方案。这种方法可被解释为具有二阶微分方程的广义加速半二次分割，从而减少了初始优化阶段的依赖，解决了与长程相互作用相关的挑战。关键在于，在 Mamba 框架内，我们通过融合选择性状态空间模型和注意力机制，重新结构化了 Mamba 思路下的全局到局部注意力机制。这有效地将 Mamba 重新解释为 Transformer 架构的一个变体，提高了其适应性和效率。此外，我们通过将张量模式-k展开集成到 Mamba 网络中，优化了扫描策略。该方法强调沿不同模式的张量低秩特性，同时便于实现 12 个扫描方向。在仿真和真实数据集上的数值和视觉比较表明，我们所提出的 MiJUN 具有优势，实现了压倒性的细节表示。
引用
@article{arxiv.2501.01262,
title = {Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging},
author = {Mengjie Qin and Yuchao Feng and Zongliang Wu and Yulun Zhang and Xin Yuan},
journal= {arXiv preprint arXiv:2501.01262},
year = {2025}
}
备注
9 pages, 7 figures, AAAI 2025