基于状态空间模型的 Panchromatic 图像分辨率恢复多功能网络——MFmamba

遥感图像正变得越来越普遍，广泛应用于军事和地质资源勘探。由于单一传感器的局限性，我们只能获得高空间分辨率的灰度 Panchromatic (PAN) 图像和低空间分辨率的彩色多光谱 (MS) 图像。因此，一个重要问题是仅凭 PAN 图像输入，就能获得具有高空间分辨率的彩色图像。现有方法通过超分辨率 (SR) 技术提高空分辨率，通过色彩化技术恢复光谱分辨率。然而，SR 技术无法提高光谱分辨率，色彩化技术也无法提高空间分辨率。此外，Pansharpening 方法需要两个注册输入，无法实现 SR。因此，迫切需要一种集成方法。为解决上述问题，我们设计了一种新型多功能模型 (MFmamba)，通过三种不同输入实现 SR、光谱恢复以及联合 SR 与光谱恢复。首先，MFmama 采用 UNet++ 作为主干网络，并将 Mamba Upsample Block (MUB) 与 UNet++ 集成。其次，设计一种 Dual Pool Attention (DPA) 来取代 UNet++ 中的跳跃连接。最后，提出一种 Multi-scale Hybrid Cross Block (MHCB) 用于初始特征提取。许多实验表明，MFmama 在评估指标和视觉结果方面与现有方法相当，并在仅使用 PAN 图像输入的情况下在三项任务中表现良好。