一种用于红外与可见光图像融合的多尺度信息集成框架

红外与可见光图像融合旨在生成包含源图像强度信息和细节信息的融合图像，关键在于有效度量和集成来自同一场景的多模态图像的互补信息。现有方法大多在损失函数中采用简单权重来决定每种模态的信息保留，而不是自适应地度量不同图像对的互补信息。在本研究中，我们提出了一种用于红外与可见光图像融合的多尺度双注意力（MDA）框架，该框架旨在从结构和损失函数两个层面，在图像和块级别度量和集成互补信息。在我们的方法中，残差下采样块首先将源图像分解为三个尺度。然后，双注意力融合块集成互补信息，并在每个尺度上生成空间和通道注意力图用于特征融合。最后，输出图像由残差重建块重建。损失函数由图像级、特征级和块级三部分组成，其中图像级和块级两部分的计算基于互补信息度量生成的权重。实际上，为了约束输出与红外图像之间的像素强度分布，添加了风格损失。我们的融合结果在不同场景下表现鲁棒且信息丰富。在两个数据集上的定性和定量结果表明，我们的方法能够保留来自两种模态的热辐射和细节信息，并与其他最先进方法相比取得了可比较的结果。消融实验证明了我们的信息集成架构以及损失函数中自适应度量互补信息保留的有效性。