基于模型且高效的红外与可见光图像融合：通过算法展开实现
计算机视觉与模式识别
2021-04-26 v2
摘要
红外与可见光图像融合（IVIF）期望获得保留红外图像热辐射信息与可见光图像纹理细节的图像。本文提出一种基于模型的卷积神经网络（CNN）模型，称为算法展开图像融合（AUIF），以克服传统基于 CNN 的 IVIF 模型的缺点。所提 AUIF 模型从两个传统优化模型的迭代公式出发，这些模型被建立以完成两尺度分解，即从源图像中分离低频基础信息和高频细节信息。随后实施算法展开，其中每次迭代映射到一个 CNN 层，每个优化模型被转化为可训练的神经网络。与通用网络架构相比，所提框架结合了基于模型的先验信息且设计更为合理。展开操作后，我们的模型包含两个分解器（编码器）和一个额外的重构器（解码器）。在训练阶段，该网络被训练以重建输入图像。而在测试阶段，红外/可见光图像的基础（或细节）分解特征图由一个额外的融合层分别合并，然后解码器输出融合图像。定性与定量比较证明了我们模型的优越性，其能鲁棒地生成包含高亮目标和清晰细节的融合图像，超越最先进（SOTA）方法。此外，我们的网络具有更少的权重和更快的速度。
引用
@article{arxiv.2005.05896,
title = {Efficient and Model-Based Infrared and Visible Image Fusion Via Algorithm Unrolling},
author = {Zixiang Zhao and Shuang Xu and Jiangshe Zhang and Chengyang Liang and Chunxia Zhang and Junmin Liu},
journal= {arXiv preprint arXiv:2005.05896},
year = {2021}
}
备注
Accepted by IEEE Transactions on Circuits and Systems for Video Technology