基于ResNet与零相位分量分析的红外与可见光图像融合
计算机视觉与模式识别
2019-09-23 v7
摘要
特征提取与处理任务在图像融合中起着关键作用，融合性能直接受到所采用的不同特征和处理方法的影响。相比之下，大多数基于深度学习的方法直接使用深度特征而不进行特征提取或处理。这导致在某些情况下融合性能下降。为解决这些缺陷，本文提出了一种基于深度特征和零相位分量分析（ZCA）的新颖融合框架。首先，使用残差网络（ResNet）从源图像中提取深度特征。然后利用ZCA对深度特征进行归一化并获得初始权重图。最终权重图通过结合初始权重图执行软最大化（soft-max）操作得到。最后，采用加权平均策略重建融合图像。与现有融合方法相比，实验结果表明所提框架在客观评估和视觉质量上均取得更好性能。我们的融合算法代码可在 https://github.com/hli1221/imagefusion_resnet50 获取。
引用
@article{arxiv.1806.07119,
title = {Infrared and Visible Image Fusion with ResNet and zero-phase component analysis},
author = {Hui Li and Xiao-Jun Wu and Tariq S. Durrani},
journal= {arXiv preprint arXiv:1806.07119},
year = {2019}
}
备注
22pages, 9 figures, 7 tables