面向图像融合的互引导动态网络
计算机视觉与模式识别
2023-09-04 v2
摘要
图像融合旨在从多种不同条件下捕获的图像中生成高质量图像。该任务的关键问题在于为融合结果保留互补信息的同时滤除无关信息。然而，现有方法利用静态卷积神经网络（CNN）解决此问题，在特征提取时存在两个固有局限，即无法处理空间变化内容且缺乏来自多输入的引导。本文中，我们提出一种新颖的互引导动态网络（MGDN）用于图像融合，其可实现跨不同位置与输入的有效信息利用。具体而言，我们设计了一个互引导动态滤波器（MGDF）用于自适应特征提取，其由互引导交叉注意力（MGCA）模块与动态滤波器预测器组成，前者引入来自不同输入的额外引导，后者为不同位置生成空间变化卷积核。此外，我们引入并行特征融合（PFF）模块以有效融合所提取特征的局部与全局信息。为进一步降低所提取特征间的冗余，同时保留其共享结构信息，我们设计了一种新颖的损失函数，将归一化互信息（NMI）的最小化与估计梯度掩码相结合。在五个基准数据集上的实验结果表明，我们提出的方法在四项图像融合任务上优于现有方法。代码与模型公开于：https://github.com/Guanys-dar/MGDN。
引用
@article{arxiv.2308.12538,
title = {Mutual-Guided Dynamic Network for Image Fusion},
author = {Yuanshen Guan and Ruikang Xu and Mingde Yao and Lizhi Wang and Zhiwei Xiong},
journal= {arXiv preprint arXiv:2308.12538},
year = {2023}
}
备注
ACMMM 2023 accepted