一种用于红外与可见光图像融合的注意力引导与小波约束生成对抗网络
计算机视觉与模式识别
2023-02-15 v2 图像与视频处理
摘要
基于 GAN 的红外与可见光图像融合方法因其有效性与优越性而获得越来越多的关注。然而，现有方法将源图像的全局像素分布作为判别依据，未能聚焦于关键模态信息。此外，基于双判别器的方法遭受判别器之间的对抗。为此，我们提出一种用于红外与可见光图像融合的注意力引导与小波约束 GAN（AWFGAN）。该方法中设计了两种独特的判别策略以提升融合性能。具体而言，我们将空间注意力模块（SAM）引入生成器以获得空间注意力图，随后利用注意力图迫使红外图像的判别聚焦于目标区域。此外，我们将可见光信息的判别范围扩展到小波子空间，从而迫使生成器恢复可见光图像的高频细节。消融实验证明了我们的方法在消除判别器间对抗上的有效性。公开数据集上的对比实验证明了所提方法的有效性与优越性。
引用
@article{arxiv.2210.11018,
title = {An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion},
author = {Xiaowen Liu and Renhua Wang and Hongtao Huo and Xin Yang and Jing Li},
journal= {arXiv preprint arXiv:2210.11018},
year = {2023}
}