自监督多复用共识 Mamba 用于通用图像融合

图像融合将来自不同模态的互补信息整合以生成高质量的融合图像，从而增强目标检测和语义分割等下游任务的性能。与专注于整合跨模态信息的任务特定技术不同，通用图像融合需要在不增加复杂度的前提下解决广泛的任务并提升性能。为实现此目标，我们提出 SMC-Mamba，即面向通用图像融合的自监督多复用共识 Mamba 框架。具体而言，Modality-Agnostic Feature Enhancement（MAFE）模块通过自适应门控保留细节，并通过空间-通道和频率-旋转扫描增强全局表征。Multiplex Consensus Cross-modal Mamba（MCCM）模块 enables 动态协作多个专家，达成共识，高效整合来自多个模态的互补信息。在 MCCM 中，跨模态扫描进一步加强了跨模态的特征相互作用，促进来自两个来源的关键信息的无缝集成。此外，我们引入双层自监督对比学习损失（BSCL），在不增加计算开销的前提下保留高频信息，同时提升下游任务的性能。大量实验表明，我们的方法在红外-可见、医学、多焦点和多曝光融合以及下游视觉任务中均优于当前最先进（SOTA）图像融合算法。