可见光-热红外无人机跟踪：大规模基准与新基线
计算机视觉与模式识别
2022-04-11 v1
摘要
随着多模态传感器的普及，可见光-热红外（RGB-T）目标跟踪旨在利用物体的温度信息实现鲁棒性能与更广的应用场景。然而，配对训练样本的缺乏是释放RGB-T跟踪能力的主要瓶颈。由于收集高质量RGB-T序列费力，现有基准仅提供测试序列。本文构建了一个具有高多样性、面向可见光-热红外无人机跟踪（VTUAV）的大规模基准，包含500个序列及170万对高分辨率（1920 1080 像素）帧对。此外，考虑了涵盖多样类别与场景的综合应用（短期跟踪、长期跟踪与分割掩码预测）以进行详尽评估。我们进一步提供了由粗到细的属性标注，给出帧级属性以挖掘特定挑战跟踪器的潜力。此外，我们设计了一个新的RGB-T基线，称为分层多模态融合跟踪器（Hierarchical Multi-modal Fusion Tracker, HMFT），其在多个层级融合RGB-T数据。在多个数据集上的大量实验揭示了HMFT的有效性以及不同融合类型的互补性。项目地址见此处。
引用
@article{arxiv.2204.04120,
title = {Visible-Thermal UAV Tracking: A Large-Scale Benchmark and New Baseline},
author = {Pengyu Zhang and Jie Zhao and Dong Wang and Huchuan Lu and Xiang Ruan},
journal= {arXiv preprint arXiv:2204.04120},
year = {2022}
}
备注
to be published in CVPR22. The project is available at https://zhang-pengyu.github.io/DUT-VTUAV/