多样性即力量：基于多智能体交互式强化学习的足球全场掌控
人工智能
2023-06-29 v1
摘要
在多智能体环境中训练具备强大且丰富策略的 AI 仍是深度强化学习（DRL）中的重要研究课题。AI 的能力与其策略多样性密切相关，这一关系可指导我们训练兼具强大与丰富策略的 AI。为证明此观点，我们提出 Diversity is Strength（DIS），一种可同时训练多种 AI 的新型 DRL 训练框架。这些 AI 通过互联的历史模型池结构相连，从而增强其能力与策略多样性。我们还设计了模型评估与筛选方案，以选取最优模型来丰富模型池并获得最终 AI。所提出的训练方法在不使用人类数据的情况下提供了多样、可泛化且强大的 AI 策略。我们在基于 Google Research Football（GRF）的 AI 竞赛中测试了该方法，并赢得了 5v5 与 11v11 赛道。该方法首次使 GRF AI 在复杂的多智能体环境下的 5v5 与 11v11 赛道上均达到高水平。行为分析表明，训练后的 AI 具有丰富策略，且消融实验证明了所设计模块有益于训练过程。
引用
@article{arxiv.2306.15903,
title = {Diversity is Strength: Mastering Football Full Game with Interactive Reinforcement Learning of Multiple AIs},
author = {Chenglu Sun and Shuo Shen and Sijia Xu and Weidong Zhang},
journal= {arXiv preprint arXiv:2306.15903},
year = {2023}
}