SoccerChat：融合多模态数据以增强足球比赛理解
计算机视觉与模式识别
2025-05-23 v1 人工智能
摘要
人工智能在体育分析中的集成已改变了足球视频理解，使得对复杂比赛动态的实时、自动化洞察成为可能。传统方法依赖于孤立的数据流，限制了其捕捉比赛完整上下文的有效性。为解决此问题，我们引入了SoccerChat，一个融合视觉和文本数据以增强足球视频理解的多模态对话式AI框架。利用丰富的SoccerNet数据集，并辅以球衣颜色标注和自动语音识别（ASR）转录文本，SoccerChat在一个结构化的视频指令数据集上进行了微调，以促进准确的比赛理解、事件分类和裁判决策。我们在动作分类和裁判决策任务上对SoccerChat进行了基准测试，展示了其在通用足球事件理解中的性能，同时在裁判决策中保持了有竞争力的准确性。我们的发现突显了多模态集成在推进足球分析中的重要性，为更具交互性和可解释性的AI驱动体育分析铺平了道路。https://github.com/simula/SoccerChat
引用
@article{arxiv.2505.16630,
title = {SoccerChat: Integrating Multimodal Data for Enhanced Soccer Game Understanding},
author = {Sushant Gautam and Cise Midoglu and Vajira Thambawita and Michael A. Riegler and Pål Halvorsen and Mubarak Shah},
journal= {arXiv preprint arXiv:2505.16630},
year = {2025}
}