用于鲁棒光谱成像的 Cross-Scan Mamba 带掩码训练
计算机视觉与模式识别
2024-12-10 v2 图像与视频处理
摘要
快照压缩成像 (SCI) 使光谱成像能够快速进行,但需要有效的解码算法来从压缩测量中重建高光谱图像 (HSI)。当前的基于卷积神经网络的方法在建模长程依赖性方面受限,而基于 Transformer 的模型则面临高的计算复杂度。虽然最近的 Mamba 模型在 RGB 任务中在计算效率或准确性方面优于 CNN 和 Transformer,但并未针对 HSI 中固有的局部空间和光谱相关性进行针对性优化。为此,我们提出了 Cross-Scanning Mamba,命名为 CS-Mamba,其采用空间-光谱 SSM 进行全局-局部平衡的上下文编码并促进跨通道相互作用。此外,虽然当前的重建算法在仿真场景中表现不断提高,但在实际数据上的表现不佳,这反映出其泛化能力有限。在训练过程中,模型可能未能捕捉图像的内在特征,而是学习参数以缓解特定噪声和损失,这可能导致在面对真实场景时重建质量下降。为克服这一挑战,我们提出了一种掩码训练方法以增强模型的泛化能力。实验结果表明,我们的 CS-Mamba 实现了最先进的性能,掩码训练方法能够更好地重建平滑特征以提高视觉质量。
引用
@article{arxiv.2408.00629,
title = {Cross-Scan Mamba with Masked Training for Robust Spectral Imaging},
author = {Wenzhe Tian and Haijin Zeng and Yin-Ping Zhao and Yongyong Chen and Zhen Wang and Xuelong Li},
journal= {arXiv preprint arXiv:2408.00629},
year = {2024}
}
备注
11 pages,7 figures