SpikeMOT:基于稀疏运动特征的事件多目标跟踪
计算机视觉与模式识别
2025-01-07 v1
摘要
与传统RGB相机相比,事件相机卓越的时间分辨率使其能捕捉帧间丰富信息,成为目标跟踪的理想选择。然而在实践中,尽管具备理论优势,基于事件的多目标跟踪(MOT)研究仍处于起步阶段,尤其在真实场景中,来自复杂背景与相机运动的事件易掩盖真实目标运动。本文提出一种名为SpikeMOT的基于事件的多目标跟踪器以应对这些挑战。SpikeMOT利用脉冲神经网络从与目标相关的事件流中提取稀疏时空特征。所得的脉冲序列表示用于高频跟踪目标运动,同时一个同步目标检测器以等效帧率提供这些目标的更新空间信息。为评估SpikeMOT的有效性,我们引入DSEC-MOT,首个大规模基于事件的MOT基准,包含经历严重遮挡、频繁轨迹交叉与长期重识别的真实场景细粒度标注。采用DSEC-MOT与另一基于事件的数据集FE240hz的大量实验表明,SpikeMOT能够在挑战性真实场景中实现高跟踪精度,推进了基于事件的多目标跟踪的SOTA。
引用
@article{arxiv.2309.16987,
title = {SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features},
author = {Song Wang and Zhu Wang and Can Li and Xiaojuan Qi and Hayden Kwok-Hay So},
journal= {arXiv preprint arXiv:2309.16987},
year = {2025}
}