跨模态图像的非线性与选择性融合
计算机视觉与模式识别
2020-06-23 v2
摘要
人类视觉感知系统在图像融合中具有强鲁棒性。该鲁棒性基于人类视觉感知系统对不同特征进行特征选择与非线性融合的特性。为在图像融合任务中模拟人类视觉感知机制，我们提出了一种结合光照因子与注意力机制的多源图像融合框架。该框架有效结合了传统图像特征与现代深度学习特征。首先，我们对多源图像进行多尺度分解。然后，将视觉显著图与深度特征图结合光照融合因子进行高低频非线性融合。其次，通过通道注意力网络选择高低频融合特征，获得最终融合图。通过模拟人类视觉感知系统在图像融合中的非线性与选择特性，融合图像更符合人类视觉感知机制。最后，我们在红外与可见光图像、医学图像和多聚焦图像的公开数据集上验证我们的融合框架。实验结果表明，我们的融合框架在视觉质量、客观融合指标和鲁棒性上优于现有最优方法。
引用
@article{arxiv.1912.10738,
title = {Non-linear and Selective Fusion of Cross-Modal Images},
author = {Aiqing Fang and Xinbo Zhao and Jiaqi Yang and Yanning Zhang},
journal= {arXiv preprint arXiv:1912.10738},
year = {2020}
}