基于红外中心特征融合的多光谱检测变换器
计算机视觉与模式识别
2025-07-15 v2
摘要
多光谱目标检测旨在利用可见光（RGB）和红外（IR）两种模态的互补信息，以应对多样化的环境条件。我们的关键洞察来自小波分析和经验观察，表明 IR 图像包含结构丰富的高频信息，对目标检测至关重要，因而红外中心方法非常有效。为此，我们提出一种轻量级且模态感知的传感器融合方法——红外中心融合（IC-Fusion），优先集中红外特征，同时有效整合互补的 RGB 语义上下文。IC-Fusion 采用紧凑的 RGB 主干网络，并设计新型融合模块，包含 Multi-Scale Feature Distillation（MSFD）模块以增强 RGB 特征，以及三阶段融合模块，其中包括 Cross-Modal Channel Shuffle Gate（CCSG）、Cross-Modal Large Kernel Gate（CLKG）和 Channel Shuffle Projection（CSP），以促进有效的跨模态交互。在 FLIR 和 LLVIP 数据集上的实验表明，我们的红外中心融合策略在有效性和效率方面均表现优异，进一步验证了其优势。我们的代码已公开：https://github.com/smin-hwang/IC-Fusion。
引用
@article{arxiv.2505.15137,
title = {Multispectral Detection Transformer with Infrared-Centric Feature Fusion},
author = {Seongmin Hwang and Daeyoung Han and Moongu Jeon},
journal= {arXiv preprint arXiv:2505.15137},
year = {2025}
}
备注
Under Review