一种用于红外与可见光图像融合的联合卷积自编码器网络
计算机视觉与模式识别
2022-01-27 v1
摘要
背景：学习冗余与互补关系是人类视觉系统中的关键步骤。受蝮亚科动物红外认知能力的启发，我们设计了一种用于红外与可见光图像融合的联合卷积自编码器（JCAE）网络。方法：我们的核心思路是将红外与可见光图像对同时输入网络，并将编码器流拆分为两个私有分支与一个公共分支，其中私有分支用于互补特征学习，公共分支用于冗余特征学习。我们还构建了两种融合规则，将冗余与互补特征整合为融合特征，随后送入解码器层生成最终融合图像。我们详述了该网络的结构、融合规则并解释其多任务损失函数。结果：我们的 JCAE 网络在主观效果与客观评价指标上均取得了良好结果。
引用
@article{arxiv.2201.10736,
title = {A Joint Convolution Auto-encoder Network for Infrared and Visible Image Fusion},
author = {Zhancheng Zhang and Yuanhao Gao and Mengyu Xiong and Xiaoqing Luo and Xiao-Jun Wu},
journal= {arXiv preprint arXiv:2201.10736},
year = {2022}
}