MMOT：无人机多光谱多目标跟踪的首个挑战性基准
计算机视觉与模式识别
2025-10-15 v1
摘要
无人机多目标跟踪虽然至关重要，却极具挑战性，由于目标较小、遮挡严重且背景杂乱。现有的基于 RGB 的跟踪算法严重依赖于空间外观线索，如颜色和纹理，在航空视角下常导致性能下降。多光谱图像以像素级光谱反射率捕获关键线索，可在空间条件受损时提升目标辨识度。然而，缺乏针对该领域的专门多光谱 UAV 数据集，致使该领域的进展受阻。为填补这一空白，我们引入 MMOT，这是一个面向无人机多光谱多目标跟踪的首个挑战性基准。它具有三个关键特征：(i) 大规模——包含 125 个视频序列，涵盖八个类别，拥有 48.8 万 标注; (ii) 综合挑战——涵盖极小目标、密集场景、严重遮挡和复杂运动等多样条件; (iii) 精确定向标注——在航空视角下实现精准定位，减少歧义。为更好地提取光谱特征并利用定向标注，我们进一步提出一种多光谱和定向感知的 MOT 方案，采用现有方法，包含：(i) 轻量级 Spectral 3D-Stem 在保持与 RGB 预训练兼容性的同时整合光谱特征; (ii) 定向感知卡尔曼滤波实现精确状态估计; (iii) 端到端定向自适应变换。广泛的实验在代表性跟踪器上 consistently 显示，多光谱输入显著优于 RGB 基线，尤其在小目标和密集目标上表现更佳。我们相信本工作将推动无人机多光谱多目标跟踪研究的发展。我们的 MMOT、代码和基准均已公开发布于 https://github.com/Annzstbl/MMOT。
引用
@article{arxiv.2510.12565,
title = {MMOT: The First Challenging Benchmark for Drone-based Multispectral Multi-Object Tracking},
author = {Tianhao Li and Tingfa Xu and Ying Wang and Haolin Qin and Xu Lin and Jianan Li},
journal= {arXiv preprint arXiv:2510.12565},
year = {2025}
}