一种受人眼视觉特性引导的跨模态图像融合方法

人眼视觉感知系统的特征选择、非线性组合与多任务辅助学习机制在真实场景中起着重要作用，但基于人眼视觉感知特性的图像融合理论研究较少。受人类视觉感知特性的启发，我们提出了一种鲁棒的多任务辅助学习优化图像融合理论。首先，我们将通道注意力模型与非线性卷积神经网络相结合，以选择特征并融合非线性特征。然后，我们分析现有图像融合损失对图像融合质量的影响，并建立无监督学习网络的多损失函数模型。其次，针对人眼视觉感知系统的多任务辅助学习机制，我们在单任务多损失网络模型的基础上研究该机制对图像融合任务的影响。通过模拟人眼视觉感知系统的三个特性，融合图像更符合人脑图像融合机制。最后，为验证算法的优越性，我们在组合视觉系统图像数据集上进行实验，并将算法扩展到红外与可见光图像以及多聚焦图像公开数据集进行实验验证。实验结果表明，我们的融合理论在通用性与鲁棒性上优于现有最优方法。