TGFuse：一种基于Transformer与生成对抗网络的红外与可见光图像融合方法
计算机视觉与模式识别
2022-02-07 v2
摘要
端到端图像融合框架已取得令人瞩目的性能，其通过专用卷积网络聚合多模态局部外观。然而，现有CNN融合方法直接忽略了长程依赖关系，阻碍了在复杂场景融合中平衡整体图像级感知。为此，本文提出一种基于轻量级Transformer模块与对抗学习的红外与可见光图像融合算法。受全局交互能力的启发，我们利用Transformer技术学习有效的全局融合关系。具体而言，由CNN提取的浅层特征在所提出的Transformer融合模块中进行交互，以同时在空间范围内和跨通道上优化融合关系。此外，在训练过程中设计了对抗学习，通过施加来自输入的竞争一致性来提升输出判别力，从而反映红外与可见光图像中的特定特征。实验性能证明了所提模块的有效性，其性能优于现有最先进方法，通过Transformer与对抗学习在融合任务中推广了一种新颖范式。
引用
@article{arxiv.2201.10147,
title = {TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network},
author = {Dongyu Rao and Xiao-Jun Wu and Tianyang Xu},
journal= {arXiv preprint arXiv:2201.10147},
year = {2022}
}