SSPFusion：一种用于红外与可见光图像融合的语义结构保持方法
计算机视觉与模式识别
2025-08-13 v3
摘要
大多数现有的基于学习的多模态图像融合（MMIF）方法由于不恰当地使用了语义层面的结构特征，存在显著的结构不一致问题。为缓解这些问题，我们提出了一种用于MMIF的语义结构保持融合方法，即SSPFusion。首先，我们设计了一个结构特征提取器（SFE）以从多幅输入图像中提取显著的结构特征。同时，我们引入带有Sobel算子的变换函数，在这些提取的特征中生成自监督结构信号。随后，我们设计了一个多尺度结构保持融合（SPF）模块，在所生成结构信号的引导下，合并输入图像的结构特征。该过程确保了所得融合图像与输入图像之间语义结构的一致性。通过SFE与SPF这两个鲁棒模块的协同作用，我们的方法能够生成高质量的融合图像，并展现出良好的泛化能力。在红外-可见光图像融合与医学图像融合任务上的实验结果表明，我们的方法在定性与定量评估上均优于九种最先进（SOTA）方法。代码已公开于 https://github.com/QiaoYang-CV/SSPFUSION。
引用
@article{arxiv.2309.14745,
title = {SSPFusion: A Semantic Structure-Preserving Approach for Infrared and Visible Image Fusion},
author = {Qiao Yang and Yu Zhang and Yutong Chen and Jian Zhang and Shunli Zhang},
journal= {arXiv preprint arXiv:2309.14745},
year = {2025}
}
备注
Accepted by Expert Systems with Applications (ESWA)