SMLNet：一种用于红外与可见光图像融合的 SPD 流形学习网络

欧几里得表示学习方法在图像融合任务中取得了令人瞩目的成果，这归因于其在处理线性空间方面的明显优势。然而，从真实场景收集的数据通常具有非欧几里得结构，使用欧几里得距离评估成对视图潜在表示的一致性带来了挑战。为了解决这个问题，我们提出了一种新颖的 SPD（对称正定）流形学习方法用于多模态图像融合，命名为 SMLNet，它将图像融合方法从欧几里得空间扩展到 SPD 流形。具体来说，我们根据黎曼几何对图像进行编码，以利用其固有的统计相关性，从而与人类视觉感知保持一致。SPD 矩阵从根本上支撑了我们网络的学习过程。基于这一数学基础，我们采用跨模态融合策略来利用模态特定的依赖关系并增强互补信息。为了捕捉图像内在空间中的语义相似性，我们进一步开发了一个注意力模块，该模块精心处理跨模态语义亲和矩阵。基于此，我们设计了一个基于跨模态流形学习的端到端融合网络。在公共数据集上的大量实验表明，与当前最先进的方法相比，我们的框架表现出优越的性能。我们的代码将在 https://github.com/Shaoyun2023 上公开。