面向帧率不敏感多目标跟踪的协同跟踪学习

Yiheng Liu; Junta Wu; Yi Fu

面向帧率不敏感多目标跟踪的协同跟踪学习

计算机视觉与模式识别 2023-09-13 v2

作者: Yiheng Liu , Junta Wu , Yi Fu

摘要

低帧率下的多目标跟踪(MOT)能够降低计算、存储和功耗开销,更好地满足边缘设备的约束。许多现有MOT方法在相邻帧间存在显著位置和外观变化的低帧率视频中性能大幅下降。为此,我们提出以基于查询的端到端方式探索用于帧率不敏感MOT的协同跟踪学习(ColTrack)。同一目标的多个历史查询以更丰富的时间描述联合跟踪该目标。同时,我们在每两个时间分块解码器之间插入信息精炼模块,以更好地融合时间线索并精炼特征。此外,提出一种跟踪目标一致性损失来引导历史查询之间的交互。大量实验结果表明,在高帧率视频中,ColTrack在大规模数据集Dancetrack和BDD100K上取得了优于最先进方法的性能,并在MOT17上超越了现有的端到端方法。更重要的是,ColTrack在低帧率视频中相比最先进方法具有显著优势,这使其能够在保持更高性能的同时通过降低帧率需求来获得更快的处理速度。代码将发布于https://github.com/yolomax/ColTrack

关键词

多目标跟踪低帧率协同跟踪学习基于查询的跟踪时间特征融合端到端检测

引用

@article{arxiv.2308.05911,
  title  = {Collaborative Tracking Learning for Frame-Rate-Insensitive Multi-Object Tracking},
  author = {Yiheng Liu and Junta Wu and Yi Fu},
  journal= {arXiv preprint arXiv:2308.05911},
  year   = {2023}
}

备注

Accepted by ICCV 2023

面向帧率不敏感多目标跟踪的协同跟踪学习

摘要

关键词

引用

备注

相关论文