可见-热红外小目标检测：基准数据集与基线方法
计算机视觉与模式识别
2025-02-21 v2
摘要
小目标检测（SOD）已是数十年来面临的长期且具有挑战性的任务，已开发出诸多数据集和算法。然而，这些方法主要关注可见或热红外模态，而可见-热红外（RGBT）双模态很少被探索。尽管近期开发了一些RGBT数据集，但由于样本数量不足、类别有限、图像错位以及目标尺寸过大，无法提供公正的基准来评估多类别可见-热红外小目标检测（RGBT SOD）算法。本文构建了第一个规模庞大且多样性丰富的RGBT SOD基准（称为RGBT-Tiny），包括115个配对序列、93K帧和120万手动标注。RGBT-Tiny包含丰富的目标（7个类别）和高多样性场景（8种类型，涵盖不同的照明和密度变化）。值得注意的是，超过81%的目标小于16x16像素，我们提供的配对边界框标注带有跟踪ID，为提供极具挑战性的基准，适用于RGBT融合、检测和跟踪等广泛应用场景。此外，我们提出了尺度自适应适配度（SAFit）度量，在小目标和大目标上均表现出高鲁棒性。该SAFit度量可提供合理的性能评估并提升检测性能。基于所提出的RGBT-Tiny数据集和SAFit度量，开展了大量评估工作，包括23个最近的SOTA算法，涵盖四种不同类型（即可见通用检测、可见SOD、热红外SOD和RGBT目标检测）。项目地址为https://github.com/XinyiYing/RGBT-Tiny。
引用
@article{arxiv.2406.14482,
title = {Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines},
author = {Xinyi Ying and Chao Xiao and Ruojing Li and Xu He and Boyang Li and Xu Cao and Zhaoxu Li and Yingqian Wang and Mingyuan Hu and Qingyu Xu and Zaiping Lin and Miao Li and Shilin Zhou and Wei An and Weidong Sheng and Li Liu},
journal= {arXiv preprint arXiv:2406.14482},
year = {2025}
}