YOLOv11-RGBT：面向综合单阶段多光谱目标检测框架
计算机视觉与模式识别
2025-06-19 v2
摘要
多光谱目标检测通过整合多个波段的信息来增强检测精度和环境适应性，具有广泛的应用潜力。尽管现有方法在跨模态交互、低光条件和模型轻量化方面取得了进展，但仍面临统一单阶段框架缺失、性能与融合策略难以平衡以及模态权重分配不合理等挑战。为此，基于 YOLOv11 框架，我们提出了 YOLOv11-RGBT，一个全新的综合性多模态目标检测框架。我们设计了六种多光谱融合模式，并成功应用于从 YOLOv3 到 YOLOv12 以及 RT-DETR 的模型。经过重新评估两种模态的重要性，我们提出了 P3 中间融合策略和多光谱可控微调（MCF）策略，用于多光谱模型。这些改进优化了特征融合，减少了冗余和不匹配，提升了整体模型性能。实验表明，本框架在 LLVIP 和 FLIR 等三个主要开源多光谱目标检测数据集上表现优异。特别是，多光谱可控微调策略显著增强了模型的适应性和鲁棒性。在 FLIR 数据集上，持续将 YOLOv11 模型的 mAP 提升 3.41%-5.65%，最高达到 47.61%，验证了框架和策略的有效性。代码已公开：https://github.com/wandahangFY/YOLOv11-RGBT。
引用
@article{arxiv.2506.14696,
title = {YOLOv11-RGBT: Towards a Comprehensive Single-Stage Multispectral Object Detection Framework},
author = {Dahang Wan and Rongsheng Lu and Yang Fang and Xianli Lang and Shuangbao Shu and Jingjing Chen and Siyuan Shen and Ting Xu and Zecong Ye},
journal= {arXiv preprint arXiv:2506.14696},
year = {2025}
}
备注
29 pages, 8 figures . The errors in the first version have been corrected, and no new version will be submitted in the near future. The next version will include more experiments