用于追踪无人机的三模态数据集与基线系统

随着低空无人机（UAV）的普及，视觉多目标跟踪正成为具有重要安全价值的技术，要求在复杂环境条件下保持显著鲁健性。然而，仅使用单一视觉模态进行 UAV 跟踪常常在低照明、杂乱背景和快速运动等具挑战性场景下难以实现。虽然多模态多目标 UAV 跟踪更具鲁棒性，但由于缺乏专门的公共数据集，有效解决方案的开发一直受到阻碍。为弥合这一差距，我们发布了 MM-UAV——首个大规模多模态 UAV 跟踪基准，集成了 RGB、红外（IR）和事件信号等三个关键感知模态。该数据集涵盖超过 30 个具挑战性场景，包含 1,321 个同步多模态序列，标注超过 280 万帧。配套数据集的我们提供了一种新型多模态多 UAV 跟踪框架，专为 UAV 跟踪应用设计，可作为未来研究的基线。该框架包含两项关键技术创新：一种用于解决传感器间空间错位的偏移引导自适应对齐模块，以及用于平衡不同模态传递互补信息的自适应动态融合模块。此外，我们引入一种基于事件的关联机制，以克服传统多目标跟踪中外观建模的局限性，利用事件模态的运动线索实现更可靠的身份保持。全面实验表明，所提出的框架在各项指标上均优于现有先进方法。为推动多模态 UAV 跟踪领域的进一步研究，我们将公开释放数据集和源代码，地址为 https://xuefeng-zhu5.github.io/MM-UAV/。