用于图像融合的交叉注意力引导密集网络
计算机视觉与模式识别
2022-08-16 v2
摘要
近年来,计算机视觉中的各种应用基于深度学习取得了实质性进展,深度学习已被广泛用于图像融合并展现出充分的性能。然而,由于对建模不同源图像间空间对应关系的能力有限,现有无监督图像融合模型在提取恰当特征并实现自适应均衡融合方面仍是一大挑战。本文提出一种新颖的交叉注意力引导图像融合网络,它是一个统一且无监督的框架,适用于多模态图像融合、多曝光图像融合和多聚焦图像融合。与现有的自注意力模块不同,我们的交叉注意力模块侧重于建模不同源图像之间的交叉相关性。以所提交叉注意力模块为核心块,构建了一个密集连接的交叉注意力引导网络,以动态学习空间对应关系,从而从不同的输入图像中更好地对齐重要细节。同时,还设计了一个辅助分支来建模长程信息,并附加一个合并网络以最终重建融合图像。在公开可用数据集上进行了大量实验,结果表明所提模型在定量与定性上均优于当前最优(state-of-the-art)方法。
引用
@article{arxiv.2109.11393,
title = {Cross Attention-guided Dense Network for Images Fusion},
author = {Zhengwen Shen and Jun Wang and Zaiyu Pan and Yulian Li and Jiangyu Wang},
journal= {arXiv preprint arXiv:2109.11393},
year = {2022}
}