基于检测与查询的跟踪：多目标跟踪的高效端到端框架
计算机视觉与模式识别
2026-03-31 v3
摘要
多目标跟踪（MOT）主要由两种范式主导：基于检测的跟踪（TBD）和基于查询的跟踪（TBQ）。虽然 TBD 提供了模块化的效率，但其碎片化的关联管道常常限制在复杂情景下的鲁棒性。相反，TBQ 通过端到端地增强语义建模，但由于检测和关联的紧密耦合，训练成本高且推理速度慢。在本工作中，我们提出了一种名为 TBDQ-Net 的跟踪-by-detection-and-query 框架，以推进 TBD 与 TBQ 范式之间的协同。通过将冻结的检测器与轻量级的关联器集成，该架构确保了内在的效率。在这一简化的框架中，我们引入了针对 MOT 特定挑战的定制设计。具体而言，通过 Basic Information Interaction（BII）模块的双流更新来缓解任务冲突和遮挡。Content-Position Alignment（CPA）模块进一步细化了内容和位置组件，为关联解码提供良好对齐的表示。对 DanceTrack、SportsMOT 和 MOT20 基准的广泛评估表明，TBDQ-Net 在复杂情景下实现了良好的效率-精度权衡。具体而言，TBDQ-Net 在 DanceTrack 上比领先的 TBD 方法提高了 6.0 个 IDF1 分数，并在拥挤的 MOT20 基准中实现了 TBQ 方法的最佳性能。相对于 MOTRv2，TBDQ-Net 的可训练参数减少了约 80%，而实际推理速度提高了 37.5%。这些结果表明 TBDQ-Net 是一种高效替代方案，展示了轻量级设计的有效性。源代码已公开 disponible at https://github.com/FaithFlow/TBDQ-Net。
引用
@article{arxiv.2411.06197,
title = {Tracking by Detection and Query: An Efficient End-to-End Framework for Multi-Object Tracking},
author = {Shukun Jia and Shiyu Hu and Yichao Cao and Feng Yang and Xin Lu and Xiaobo Lu},
journal= {arXiv preprint arXiv:2411.06197},
year = {2026}
}
备注
Accepted by Pattern Recognition