迈向用深度强化学习玩完整 MOBA 游戏
人工智能
2021-01-01 v4 机器学习
摘要
MOBA 游戏,如王者荣耀、英雄联盟与 Dota 2,对 AI 系统提出巨大挑战,如多智能体、巨大状态-动作空间、复杂动作控制等。开发用于玩 MOBA 游戏的 AI 已引起广泛关注。然而,现有工作在应对因智能体组合(即阵容)爆炸导致的原始游戏复杂性时存在不足,即在扩展英雄池时,OpenAI 的 Dota AI 将游戏限制于仅 17 个英雄的池。因此,无限制的完整 MOBA 游戏远未被任何现有 AI 系统掌握。本文提出一种 MOBA AI 学习范式,从方法上实现用深度强化学习玩完整 MOBA 游戏。具体地,我们开发了新颖与已有学习技术的组合,包括课程自对弈学习、策略蒸馏、离策略适配、多头价值估计与蒙特卡洛树搜索,用于训练和玩大量英雄池,同时巧妙解决可扩展性问题。在流行 MOBA 游戏王者荣耀上测试,我们展示了如何构建可击败顶级电竞选手的超人类 AI 智能体。我们 AI 的优越性由文献中首个 MOBA AI 智能体大规模性能测试所证明。
引用
@article{arxiv.2011.12692,
title = {Towards Playing Full MOBA Games with Deep Reinforcement Learning},
author = {Deheng Ye and Guibin Chen and Wen Zhang and Sheng Chen and Bo Yuan and Bo Liu and Jia Chen and Zhao Liu and Fuhao Qiu and Hongsheng Yu and Yinyuting Yin and Bei Shi and Liang Wang and Tengfei Shi and Qiang Fu and Wei Yang and Lanxiao Huang and Wei Liu},
journal= {arXiv preprint arXiv:2011.12692},
year = {2021}
}
备注
NeurIPS 2020