AngularFuse：深入探讨基于角度的感知在空间敏感多模态图像融合中的作用

可见-红外图像融合是自动驾驶和夜间监视等关键应用中的重要任务，其主要目标是整合多模态信息以产生更适合下游任务的增强图像。尽管深度学习基于融合的方法取得了显著进展，但主流的无监督方法在实际应用中仍面临严峻挑战。现有方法大多依赖手动设计的损失函数来指导融合过程，但这些损失函数存在明显局限性。一方面，现有方法构建的参考图像常缺乏细节且亮度不均匀；另一方面，广泛使用的梯度损失仅关注梯度幅值。为解决这些挑战，本文提出了一种用于空间敏感图像融合的角度感知框架（AngularFuse）。首先，我们设计了跨模态互补掩码模块，以强制网络学习模态之间的互补信息。然后，引入细粒度参考图像合成策略。通过结合拉普拉斯边缘增强和自适应直方图均衡，生成细节更丰富、亮度更均衡的参考图像。最后但不least，我们引入一种角度感知损失，首次在梯度域中同时约束梯度幅值和方向。AngularFuse确保融合图像保留纹理强度和正确的边缘方向。在MSRS、RoadScene和M3FD三个公开数据集上的全面实验表明，AngularFuse以显著优势超越现有主流方法。视觉比较进一步确认，我们的方法在具有挑战性的场景中产生更锐利、更细节的效果，显示出卓越的融合能力。