UFA-FUSE:一种用于多聚焦图像融合的新型深度监督混合模型
计算机视觉与模式识别
2021-04-21 v4 人工智能
摘要
传统与基于深度学习的融合方法通过一系列后处理流程生成中间决策图以获得融合图像。然而,这些方法生成的融合结果容易丢失部分源图像细节或产生伪影。受基于深度学习的图像重建技术启发,我们提出了一种无需任何后处理的多聚焦图像融合网络框架,以端到端和 supervised learning(监督学习)方式解决这些问题。为充分训练融合模型,我们生成了带有真值融合图像的大规模多聚焦图像数据集。此外,为获得信息更丰富的融合图像,我们进一步设计了一种基于 unity fusion attention(统一融合注意力)的新型融合策略,该策略由通道注意力模块与空间注意力模块组成。具体而言,所提融合方法主要包括三个关键组件:特征提取、特征融合与图像重建。我们首先利用七个卷积块从源图像中提取图像特征。然后,在特征融合层通过所提融合策略融合所提取的卷积特征。最后,通过四个卷积块重建融合后的图像特征。实验结果表明,与 19 种 SOTA 融合方法相比,所提多聚焦图像融合方法取得了显著的融合性能。
引用
@article{arxiv.2101.04506,
title = {UFA-FUSE: A novel deep supervised and hybrid model for multi-focus image fusion},
author = {Yongsheng Zang and Dongming Zhou and Changcheng Wang and Rencan Nie and Yanbu Guo},
journal= {arXiv preprint arXiv:2101.04506},
year = {2021}
}
备注
17pages,11 figures, 7 tables. IEEE Transactions on Instrumentation and Measurement