基于低分辨率转播视频关键帧识别的球衣号码识别
计算机视觉与模式识别
2023-09-13 v1 人工智能
摘要
球员识别是视觉驱动的足球分析中的关键组成部分，可实现球员评估、比赛内分析和转播制作等多种下游任务。然而，由于运动模糊、低分辨率、畸变和遮挡，从视频中的球员轨迹自动检测球衣号码存在挑战。现有利用空间Transformer网络、CNN 和视觉Transformer的方法在图像数据上已取得成功，但在真实世界视频数据上表现不佳，其中大多数帧中球衣号码不可见。因此，识别包含球衣号码的帧是一个关键子问题。为解决这些问题，我们提出一个鲁棒的关键帧识别模块，其提取包含球衣号码关键高层信息的帧。随后采用时空网络对空间和时间上下文建模，并预测视频中球衣号码的概率。此外，我们采用多任务损失函数分别预测每个数字的概率分布。在 SoccerNet 数据集上的大量评估表明，引入我们提出的关键帧识别模块使具有域差距的两个不同测试集的准确率分别显著提升了 37.81% 和 37.70%。这些结果凸显了我们的方法在应对体育视频中自动球衣号码检测挑战方面的有效性和重要性。
引用
@article{arxiv.2309.06285,
title = {Jersey Number Recognition using Keyframe Identification from Low-Resolution Broadcast Videos},
author = {Bavesh Balaji and Jerrin Bright and Harish Prakash and Yuhao Chen and David A Clausi and John Zelek},
journal= {arXiv preprint arXiv:2309.06285},
year = {2023}
}
备注
Accepted in the 6th International Workshop on Multimedia Content Analysis in Sports (MMSports'23) @ ACM Multimedia