NestFuse：一种基于嵌套连接与空间/通道注意力模型的红外与可见光图像融合架构
计算机视觉与模式识别
2020-07-14 v2
摘要
在本文中，我们提出了一种用于红外与可见光图像融合的新方法，其中我们开发了基于嵌套连接的网络和空间/通道注意力模型。基于嵌套连接的网络能够从多尺度视角保留输入数据中大量的信息。该方法包含三个关键部分：分别是编码器、融合策略和解码器。在我们提出的融合策略中，开发了空间注意力模型和通道注意力模型，用以描述每个空间位置和每个通道在深度特征下的重要性。首先，源图像被送入编码器以提取多尺度深度特征。随后提出新颖的融合策略，对每个尺度下的这些特征进行融合。最后，通过基于嵌套连接的解码器重建融合图像。实验在公开可用数据集上进行。结果表明，我们提出的方法比其他最先进的方法具有更好的融合性能。这一主张通过主观和客观评估得到证实。我们的融合方法代码可在 https://github.com/hli1221/imagefusion-nestfuse 获取。
引用
@article{arxiv.2007.00328,
title = {NestFuse: An Infrared and Visible Image Fusion Architecture based on Nest Connection and Spatial/Channel Attention Models},
author = {Hui Li and Xiao-Jun Wu and Tariq Durrani},
journal= {arXiv preprint arXiv:2007.00328},
year = {2020}
}
备注
12 pages, 13 figures, 6 tables. IEEE Transactions on Instrumentation and Measurement