动态亮度自适应鲁棒多模态图像融合

红外与可见光图像融合旨在整合多模态优势，以生成视觉增强、信息丰富的图像。真实场景中的可见光成像易受动态环境亮度波动的影响，导致纹理退化。现有的融合方法缺乏对此类亮度扰动的鲁棒性，从而显著损害融合图像的视觉保真度。为应对这一挑战，我们提出了亮度自适应多模态动态融合框架（BA-Fusion），该框架能够在动态亮度波动下实现鲁棒图像融合。具体而言，我们引入了一个亮度自适应门控（BAG）模块，该模块旨在从亮度相关通道中动态选择特征进行归一化，同时保留源图像中的亮度无关结构信息。此外，我们提出了一种亮度一致性损失函数来优化 BAG 模块。整个框架通过交替训练策略进行调优。大量实验验证了我们的方法在保留多模态图像信息和视觉保真度方面优于现有最先进方法，同时在 varying 亮度水平下展现出显著的鲁棒性。我们的代码已开源：https://github.com/SunYM2020/BA-Fusion。