优化多光谱目标检测：一套技巧与全面基准测试
计算机视觉与模式识别
2024-11-28 v1
摘要
多光谱目标检测利用 RGB 与热红外 (TIR) 两种模态，被广泛认为是一项具有挑战性的任务。它不仅要求有效提取两种模态的特征并采用稳健的融合策略，还需要解决由 RGB 与 TIR 图像之间存在的光谱差异、空间错位以及环境依赖性问题所带来的挑战。这些挑战显著阻碍了多光谱检测系统在不同场景下的泛化能力。尽管已有许多研究尝试克服这些限制，但仍难以明确区分多光谱检测系统性能提升与这些“优化技术”影响的贡献。更糟糕的是，尽管高性能单模态检测模型迅速涌现，但仍缺乏专门的训练技术，能够有效地将这些模型适用于多光谱检测任务。缺乏一个公平且一致实验 setup 的标准化基准测试也成为评估新方法有效性的重要障碍。为此，我们提出了第一个专为评估训练“技巧”而设计的公平且可复现的基准测试，系统性地对现有的多光谱目标检测方法进行分类，探讨其对超参数的敏感性，并标准化核心配置。我们在多个具有代表性的多光谱目标检测数据集上进行了全面评估，采用 various backbone 网络和检测框架。此外，我们引入了一个高效且易于部署的多光谱目标检测框架，能够无缝地将高性能单模态模型优化为双模态模型，集成我们的先进训练技巧。
引用
@article{arxiv.2411.18288,
title = {Optimizing Multispectral Object Detection: A Bag of Tricks and Comprehensive Benchmarks},
author = {Chen Zhou and Peng Cheng and Junfeng Fang and Yifan Zhang and Yibo Yan and Xiaojun Jia and Yanyan Xu and Kun Wang and Xiaochun Cao},
journal= {arXiv preprint arXiv:2411.18288},
year = {2024}
}