来自SoccerNet足球视频广播的动作预知

人工智能已彻底改变了我们分析体育视频的方式，无论是理解长时间未剪辑视频中的动作，还是预测玩家在未来帧中的动作。尽管如此，针对预测动作发生前的行动仍鲜有关注。在本工作中，我们提出了足球广播视频的动作预知任务，即在未观察到的未来帧中预测未来动作，时间窗口为五秒或十秒。为评估此任务， 我们发布了一个新数据集，称为SoccerNet球动作预知数据集，基于SoccerNet球动作检测。此外，我们提出了一种Football Action ANticipation TRAnsformer（FAANTRA），一种基线方法，适应最先进的动作预知模型FUTR，以预测球相关动作。为评估动作预知，我们引入了新的指标，包括mAP@$\delta$，用于评估预测未来动作的时间精度，以及mAP@$\infty$，用于评估其是否在预知窗口内发生。我们还进行了大量的消融研究，以检验各种任务设置、输入配置和模型架构的影响。实验结果突显了足球视频中动作预知的可行性与挑战，为设计用于体育分析的预测模型提供了宝贵的见解。通过预测动作在展开前的发生，本工作将为自动化制作、战术分析和球员决策等应用提供支持。我们的数据集和代码已公开available at https://github.com/MohamadDalal/FAANTRA。