基于单候选框多预测的相关目标检测与匹配
计算机视觉与模式识别
2021-04-27 v1
摘要
体育视频中的运动员跟踪通常在检测跟踪框架下完成，即先检测每帧中的运动员，再进行跨时间关联。对于某些运动，检测运动员已足以进行比赛分析，但冰球、网球和马球等运动可能需要额外的检测，包括运动员所持物体（如球拍、球杆）。该问题的基线解决方案是将这些物体作为独立类别检测，并基于交并比（IoU）将其与运动员检测结果匹配。然而，这种方法在拥挤场景下匹配性能较差，因为它未对运动员与物体之间的关系建模。本文提出一种简单而高效的方法，通过同一候选框对多个物体进行预测时的隐式关联，一次性检测并匹配运动员与相关物体且无需额外开销。我们在广播冰球视频数据集以及我们新引入的公开数据集 COCO +Torso 上评估该方法。在冰球数据集上，所提方法将匹配性能从 57.1% 提升至 81.4%，同时将运动员+球杆检测的平均精度均值（meanAP）从 68.4% 提升至 88.3%。在 COCO +Torso 数据集上，匹配性能从 47.9% 提升至 65.2%。COCO +Torso 数据集、代码和预训练模型将在 https://github.com/foreverYoungGitHub/detect-and-match-related-objects 发布。
引用
@article{arxiv.2104.12574,
title = {Detecting and Matching Related Objects with One Proposal Multiple Predictions},
author = {Yang Liu and Luiz G. Hafemann and Michael Jamieson and Mehrsan Javan},
journal= {arXiv preprint arXiv:2104.12574},
year = {2021}
}
备注
CVPR workshop 2021