基于多智能体深度强化学习的持球与无球足球运动员动作价值评估
人工智能
2023-12-04 v2 机器学习
摘要
足球等对抗性运动的分析具有挑战性，因为比赛态势在时间和空间上持续变化，且多个智能体各自识别比赛态势并做出决策。以往使用深度强化学习的研究常将球队视为单一智能体，并在每个离散事件中对持球球队与球员进行价值评估。因此，在时空连续状态空间中对包括远离球员的多个球员的动作进行价值评估十分困难。本文提出一种基于多智能体深度强化学习、在统一整体框架中对持球与无球足球运动员可能动作进行价值评估的方法。我们考虑连续状态空间中的离散动作空间，其模拟 Google Research Football 的环境，并在强化学习中利用监督学习处理动作。实验中，我们分析了所提方法与常规指标、赛季进球数及专家比赛评分之间的关系，并展示了方法的有效性。我们的方法能够评估多名球员如何在整场比赛中连续移动，这种移动难以离散化或标注，但对团队协作、球探工作和球迷互动至关重要。
引用
@article{arxiv.2305.17886,
title = {Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning},
author = {Hiroshi Nakahara and Kazushi Tsutsui and Kazuya Takeda and Keisuke Fujii},
journal= {arXiv preprint arXiv:2305.17886},
year = {2023}
}
备注
12 pages, 4 figures, published in IEEE Access. The latest version is at https://ieeexplore.ieee.org/document/10328596