面向红外与可见光图像融合的图表示学习
计算机视觉与模式识别
2023-11-02 v1
摘要
红外与可见光图像融合旨在提取互补特征以合成单幅融合图像。许多方法利用卷积神经网络（CNN）提取局部特征，因其具有平移不变性和局部性。然而，CNN未能考虑图像的非局部自相似性（NLss），尽管其可通过池化操作扩大感受野，仍不可避免地导致信息丢失。此外，transformer结构通过考虑所有图像块间的相关性来提取长程依赖，导致此类基于transformer的方法存在信息冗余。相比之下，图表示比网格（CNN）或序列（transformer结构）表示更灵活，能处理不规则物体，且图还可构建具有远空间距离的空间可重复细节或纹理间的关系。因此，为解决上述问题，将图像转换至图空间并采用图卷积网络（GCN）提取NLss具有重要意义。这是因为图可提供精细结构，在近邻顶点间聚合特征并传播信息而不引入冗余信息。具体而言，我们实现了级联NLss提取模式，通过探索不同图像像素在模态内与图像间位置距离上的交互来提取模态内与模态间的NLss。我们首先在各模态内执行GCN以聚合特征并传播信息，提取独立的模态内NLss；然后将红外与可见光图像的模态内NLss特征拼接并执行GCN，从而探索模态间的跨域NLss以重建融合图像。消融研究与大量实验在三个数据集上验证了所提方法的有效性与优越性。
引用
@article{arxiv.2311.00291,
title = {Graph Representation Learning for Infrared and Visible Image Fusion},
author = {Jing Li and Lu Bai and Bin Yang and Chang Li and Lingfei Ma and Edwin R. Hancock},
journal= {arXiv preprint arXiv:2311.00291},
year = {2023}
}