基于事件相机的长期视觉目标跟踪：联想记忆增强跟踪器与基准数据集
计算机视觉与模式识别
2025-08-07 v3 人工智能
神经与进化计算
摘要
现有的基于事件流的跟踪器在短期跟踪数据集上进行了评估，然而真实场景的跟踪涉及长期跟踪，现有跟踪算法在这些场景下的性能仍不明确。本文首先提出了一个新的长期、大规模帧-事件视觉目标跟踪数据集，称为 FELT。它包含 1,044 个长期视频，涉及 190 万对 RGB 帧与事件流、60 个不同目标对象以及 14 个挑战性属性。为构建坚实的基准，我们在数据集上重新训练并评估了 21 个基线跟踪器，供未来工作比较。此外，我们提出了一种基于联想记忆 Transformer 的 RGB-Event 长期视觉跟踪器，称为 AMTTrack。它遵循单流跟踪框架，并通过 Hopfield 检索层有效聚合多尺度 RGB/事件模板与搜索 token。该框架还通过联想记忆更新方案维护动态模板表示，体现了联想记忆的另一层面，从而解决长期跟踪中的外观变化。在 FELT、FE108、VisEvent 和 COESOT 数据集上的大量实验充分验证了所提跟踪器的有效性。数据集和源代码将发布于 https://github.com/Event-AHU/FELT_SOT_Benchmark
关键词
引用
@article{arxiv.2403.05839,
title = {Long-Term Visual Object Tracking with Event Cameras: An Associative Memory Augmented Tracker and A Benchmark Dataset},
author = {Xiao Wang and Xufeng Lou and Shiao Wang and Ju Huang and Lan Chen and Bo Jiang},
journal= {arXiv preprint arXiv:2403.05839},
year = {2025}
}
备注
FELT v2 benchmark dataset and a new Modern Hopfield Network based Tracker