基于交互补偿注意力对抗学习的红外与可见光图像融合
计算机视觉与模式识别
2022-04-12 v1 图像与视频处理
摘要
现有的生成对抗融合方法通常将源图像拼接并通过卷积操作提取局部特征，未考虑其全局特性，往往产生不平衡的结果并偏向红外图像或可见光图像。为此，我们提出了一种基于生成对抗训练的新型端到端模型以实现更好的融合平衡，称为交互补偿注意力融合网络 (ICAFusion)。特别地，在生成器中，我们构建了带三条路径的多级编码器-解码器网络，并采用红外与可见光路径以提供额外的强度与梯度信息。此外，我们开发了交互与补偿注意力模块来沟通其路径间信息，并建模其长距离依赖以生成注意力图，从而更聚焦于红外目标感知与可见光细节刻画，并进一步增强特征提取与特征重建的表征能力。另外，设计了双判别器来辨识融合结果与源图像之间的相似分布，并优化生成器以产生更平衡的结果。大量实验表明，我们的 ICAFusion 获得了优越的融合性能与更好的泛化能力，在主观视觉描述与客观指标评估上均领先于其他先进方法。我们的代码将公开于 \url{https://github.com/Zhishe-Wang/ICAFusion}
引用
@article{arxiv.2203.15337,
title = {Infrared and Visible Image Fusion via Interactive Compensatory Attention Adversarial Learning},
author = {Zhishe Wang and Wenyu Shao and Yanlin Chen and Jiawei Xu and Xiaoqin Zhang},
journal= {arXiv preprint arXiv:2203.15337},
year = {2022}
}
备注
13pages,12 figures