纯Transformer是否有效用于分离且在线的多目标跟踪？
计算机视觉与模式识别
2025-03-26 v2
摘要
近期的多目标跟踪（Multi-Object Tracking, MOT）研究在分离式在线跟踪-检测范式下的短期关联方面取得了显著进展。然而，长期跟踪仍具有挑战性。虽然图基方法通过将轨迹建模为全局图来解决此问题，但这些方法由于非在线性质，不适用于实时应用。在本文中，我们审查了轨迹图的概念，提出了一种新颖的视角，将其表示为有向无环图（directed acyclic graph）。这种表示可以描述为按帧排序的对象序列和二进制邻接矩阵。我们观察到，这种结构自然地与Transformer注意力机制相吻合，使我们能够使用经典Transformer架构来建模关联问题。基于此洞察，我们引入了一种简洁的纯Transformer（Pure Transformer, PuTR），以验证Transformer在分离式在线MOT中统一短期和长期跟踪方面的有效性。在四个多样化数据集（SportsMOT、DanceTrack、MOT17和MOT20）上的大量实验表明，PuTR在与现有基础在线方法相比时有效地建立了坚实的基线，同时表现出优异的域适应能力。此外，分离的特性使得训练和推理更高效，适用于实际应用。实现代码和训练好的模型已公开于 https://github.com/chongweiliu/PuTR。
关键词
引用
@article{arxiv.2405.14119,
title = {Is a Pure Transformer Effective for Separated and Online Multi-Object Tracking?},
author = {Chongwei Liu and Haojie Li and Zhihui Wang and Rui Xu},
journal= {arXiv preprint arXiv:2405.14119},
year = {2025}
}