LRRNet：一种用于红外与可见光图像融合的表示学习引导新型融合网络
计算机视觉与模式识别
2023-04-18 v2
摘要
基于深度学习的融合方法在图像融合任务中已取得令人瞩目的性能。这归因于在网络架构于融合过程中扮演的极重要角色。然而一般而言，难以指定良好的融合架构，因此融合网络的设计仍是黑盒艺术而非科学。为解决该问题，我们对融合任务进行数学建模，并建立其最优解与可实现该解的网络架构之间的联系。该方法引出了本文提出的构建轻量融合网络的新方法，避免了耗时试错的实证网络设计。特别地，我们对融合任务采用可学习表示方法，其中融合网络架构的构建由生成该可学习模型的优化算法所引导。低秩表示（LRR）目标是我们的可学习模型之基础。作为解之核心的矩阵乘法被转化为卷积操作，而优化的迭代过程由特殊的的前馈网络替代。基于该新型网络架构，构建了端到端轻量融合网络以融合红外与可见光图像。我们提出的从细节到语义的信息损失函数促进了其成功训练，以保留图像细节并增强源图像的显著特征。实验表明，所提融合网络在公开数据集上展现出优于最先进融合方法的融合性能。有趣的是，我们的网络所需训练参数少于其他现有方法。代码见 https://github.com/hli1221/imagefusion-LRRNet
引用
@article{arxiv.2304.05172,
title = {LRRNet: A Novel Representation Learning Guided Fusion Network for Infrared and Visible Images},
author = {Hui Li and Tianyang Xu and Xiao-Jun Wu and Jiwen Lu and Josef Kittler},
journal= {arXiv preprint arXiv:2304.05172},
year = {2023}
}
备注
14 pages, 15 figures, 8 tables