推动 Google Research Football 环境下多智能体强化学习研究：过去、现在与未来
多智能体系统
2023-09-25 v1
摘要
尽管 Google Research Football（GRF）在其原始论文中最初是作为单智能体环境进行基准测试与研究的，但近年来，利用它作为多智能体强化学习（MARL）测试平台的研究者对其多智能体特性的关注日益增加。然而，多智能体场景缺乏标准化的环境设置与统一的评估指标，阻碍了对各项研究的一致理解。此外，具有挑战性的 5 对 5 与 11 对 11 整场比赛场景因其巨大的训练复杂度而鲜受深入考察。为弥补这些不足，本文扩展了原始环境，不仅标准化了环境设置并在不同场景（包括最具挑战性的整场比赛场景）上基准测试了协作学习算法，还讨论了从多视角增强足球 AI 的方法并引入了相关研究工具。具体地，我们提供了一个分布式异步基于群体的自博弈框架及多种预训练策略以加速训练，两个足球专用分析工具以深化研究，以及一个在线排行榜以拓宽评估。本工作的总体期望是推进 Google Research Football 环境下的多智能体强化学习研究，最终目标是惠及虚拟游戏之外的真实世界体育。
引用
@article{arxiv.2309.12951,
title = {Boosting Studies of Multi-Agent Reinforcement Learning on Google Research Football Environment: the Past, Present, and Future},
author = {Yan Song and He Jiang and Haifeng Zhang and Zheng Tian and Weinan Zhang and Jun Wang},
journal= {arXiv preprint arXiv:2309.12951},
year = {2023}
}