AE-Net：受人类认知机制启发的自主演化图像融合方法
计算机视觉与模式识别
2020-07-20 v1
摘要
为解决图像融合任务的鲁棒性与通用性问题，受人类大脑认知机制启发，我们提出了一种具备自主演化能力的鲁棒且通用的图像融合方法，记为 AE-Net。通过多种图像融合方法的协同优化来模拟人脑认知过程，可将无监督学习图像融合任务转化为半监督图像融合任务或监督图像融合任务，从而提升网络模型权重的演化能力。首先，分析人脑认知机制与图像融合任务之间的关系，建立模拟人脑认知机制的物理模型。其次，分析现有图像融合方法与图像融合损失函数，选取具有互补特征的图像融合方法构建算法模块，建立多损失联合评价函数以获取算法模块的最优解。每幅图像的最优解用于指导网络模型的权重训练。我们的图像融合方法能有效统一跨模态图像融合任务与同模态图像融合任务，并有效克服不同数据集间的数据分布差异。最后，大量数值结果在多种图像融合数据集上验证了方法的有效性与优越性，包括多聚焦数据集、红外与可见光数据集、医学图像数据集和多曝光数据集。综合实验证明了我们的图像融合方法在鲁棒性与通用性上的优势。此外，实验结果也证明了人脑认知机制对提升图像融合鲁棒性与通用性的有效性。
引用
@article{arxiv.2007.08763,
title = {AE-Net: Autonomous Evolution Image Fusion Method Inspired by Human Cognitive Mechanism},
author = {Aiqing Fang and Xinbo Zhao and Jiaqi Yang and Shihao Cao and Yanning Zhang},
journal= {arXiv preprint arXiv:2007.08763},
year = {2020}
}