时序相关性融合嵌入：面向基于 JDE 的实时多目标跟踪的第二代方法
计算机视觉与模式识别
2024-08-07 v2
摘要
联合检测与嵌入 (JDE) 跟踪器通过将外观特征提取作为辅助任务融入检测器，整合 Re-Identification 任务 (ReID) 的嵌入，实现了推理速度与跟踪性能之间的平衡，在多目标跟踪 (MOT) 任务中表现优异。然而，解决检测器与特征提取器之间的竞争问题始终是一大挑战。同时，JDE 方法直接嵌入 MOT 任务仍未得到解决。外观特征的判别性不足导致其实用性受限。本文提出一种新型学习方法，通过交叉相关捕获物体的时间序列信息。特征提取网络不再仅基于每帧的外观特征进行训练，而是通过利用连续帧的特征热图学习更丰富的运动特征，从而解决类间特征相似性问题。此外，我们的学习方法应用于更轻量级的特征提取网络，将特征匹配得分视为强线索而非辅助线索，并通过合适的权重计算反映所获取特征与 MOT 任务之间的兼容性。我们的跟踪器命名为 TCBTrack，在多个公开基准测试中实现了最先进的性能，即 MOT17、MOT20 和 DanceTrack 数据集。具体而言，在 DanceTrack 测试集上，我们实现了 56.8 HOTA、58.1 IDF1 和 92.5 MOTA，成为能够实现实时性能的最佳在线跟踪器。与其他跟踪器的比较评估表明，我们的跟踪器在速度、鲁棒性和准确性之间取得了最佳平衡。代码已公开 https://github.com/yfzhang1214/TCBTrack。
引用
@article{arxiv.2407.14086,
title = {Temporal Correlation Meets Embedding: Towards a 2nd Generation of JDE-based Real-Time Multi-Object Tracking},
author = {Yunfei Zhang and Chao Liang and Jin Gao and Zhipeng Zhang and Weiming Hu and Stephen Maybank and Xue Zhou and Liang Li},
journal= {arXiv preprint arXiv:2407.14086},
year = {2024}
}
备注
A submission to IJCV