基于谱特征的全局感知融合用于RGB热成像语义分割
计算机视觉与模式识别
2025-05-22 v1
摘要
仅依赖RGB数据的语义分割在低照明和视线受阻等挑战条件下常常难以实现可靠性，这在自动驾驶等关键应用中尤为突出。为此， 将热辐射数据与RGB图像进行融合可显著提升性能和鲁棒性。然而，如何有效地解决多模态特征之间的差异并进行特征融合，仍是亟待解决的难题。本文从全新的谱方法视角来应对这一挑战。我们观察到，多模态特征可分为两类谱分量：低频特征提供较为宽广的场景语境，包括颜色变化和平滑区域；高频特征则捕获特定模态的细节信息，如边缘和纹理。基于此， 我们提出了谱感知全局融合网络（Spectral-aware Global Fusion Network, SGFNet），通过显式建模高频、模态特定特征之间的相互作用，有效地增强并融合了多模态特征。我们的实验结果表明， SGFNet 在 MFNet 和 PST900 数据集上均优于当前的前沿方法。
引用
@article{arxiv.2505.15491,
title = {Spectral-Aware Global Fusion for RGB-Thermal Semantic Segmentation},
author = {Ce Zhang and Zifu Wan and Simon Stepputtis and Katia Sycara and Yaqi Xie},
journal= {arXiv preprint arXiv:2505.15491},
year = {2025}
}
备注
Accepted by ICIP 2025