D$^3$: 面向体育视频多运动员跟踪的重复检测去污器
计算机视觉与模式识别
2022-09-27 v1
摘要
在体育视频中跟踪多名运动员是一项极具挑战性的多目标跟踪(MOT)任务,因为运动员往往外观相同且彼此紧密遮挡,使得常见的遮挡问题演变为令人头疼的重复检测。本文中,重复检测被新颖且精确地定义为同一帧中多个检测框对同一运动员的遮挡误报。为解决该问题,我们精心设计了基于 transformer 的新型重复检测去污器(D)用于训练,以及一种特定的 Rally-Hungarian (RH) 匹配算法。一旦发生重复检测,D 立即通过生成增强框损失来修正流程。RH 由团队运动换人规则触发,极其适用于体育视频。此外,为补充无镜头切换的跟踪数据集,我们发布了一个基于体育视频的新数据集 RallyTrack。在 RallyTrack 上的大量实验表明,结合 D 和 RH 可显著提升跟踪性能,MOTA 提高 9.2,HOTA 提高 4.5。同时,在 MOT 系列和 DanceTrack 上的实验发现,D 能加速训练收敛,尤其在 MOT17 上最多节省 80% 的原始训练时间。最后,我们仅用排球视频训练的模型可直接应用于篮球和足球视频进行 MAT,显示了本方法的优越性。我们的数据集可在 https://github.com/heruihr/rallytrack 获取。
引用
@article{arxiv.2209.12248,
title = {D$^{\bf{3}}$: Duplicate Detection Decontaminator for Multi-Athlete Tracking in Sports Videos},
author = {Rui He and Zehua Fu and Qingjie Liu and Yunhong Wang and Xunxun Chen},
journal= {arXiv preprint arXiv:2209.12248},
year = {2022}
}