Pan-Mamba：基于状态空间模型的有效全色锐化
计算机视觉与模式识别
2024-03-12 v2
摘要
全色锐化涉及整合低分辨率多光谱图像和高分辨率全色图像的信息，以生成高分辨率多光谱对应图像。虽然状态空间模型（特别是 Mamba 实现的高效长程依赖建模）的最新进展彻底改变了计算机视觉领域，但其在全色锐化中尚未开发的潜力激发了我们的探索。我们的贡献 Pan-Mamba 代表了一种新颖的全色锐化网络，利用了 Mamba 模型在全局信息建模方面的效率。在 Pan-Mamba 中，我们定制了两个核心组件：通道交换 Mamba 和跨模态 Mamba，专为高效的跨模态信息交换和融合而设计。前者通过交换部分全色和多光谱通道启动轻量级跨模态交互，而后者则通过利用固有的跨模态关系来增强信息表示能力。通过在多样化数据集上的广泛实验，我们提出的方法超越了最先进的方法，在全色锐化中展示了卓越的融合结果。据我们所知，这是探索 Mamba 模型潜力的首次尝试，并确立了全色锐化技术的新前沿。源代码可在 \url{https://github.com/alexhe101/Pan-Mamba} 获取。
引用
@article{arxiv.2402.12192,
title = {Pan-Mamba: Effective pan-sharpening with State Space Model},
author = {Xuanhua He and Ke Cao and Keyu Yan and Rui Li and Chengjun Xie and Jie Zhang and Man Zhou},
journal= {arXiv preprint arXiv:2402.12192},
year = {2024}
}