利用深度强化学习掌握 MOBA 游戏中的复杂控制
人工智能
2020-12-16 v3 机器学习
摘要
我们研究多人在线战术竞技（MOBA）1v1 游戏中复杂动作控制的强化学习问题。该问题涉及比围棋、Atari 系列等传统 1v1 游戏远为复杂的状态与动作空间，使得搜索任何达到人类水平的策略都极为困难。本文从系统与算法两个角度提出一个深度强化学习框架来解决此问题。我们的系统低耦合、高可扩展，能够支持大规模高效探索。我们的算法包含若干新颖策略，包括控制依赖解耦、动作掩码、目标注意力与双裁剪 PPO，借此所提的 actor-critic 网络可在我们的系统中被有效训练。在 MOBA 游戏王者荣耀上测试，我们的 AI 智能体（称为 Tencent Solo）可在完整 1v1 对局中击败顶尖职业人类玩家。
引用
@article{arxiv.1912.09729,
title = {Mastering Complex Control in MOBA Games with Deep Reinforcement Learning},
author = {Deheng Ye and Zhao Liu and Mingfei Sun and Bei Shi and Peilin Zhao and Hao Wu and Hongsheng Yu and Shaojie Yang and Xipeng Wu and Qingwei Guo and Qiaobo Chen and Yinyuting Yin and Hao Zhang and Tengfei Shi and Liang Wang and Qiang Fu and Wei Yang and Lanxiao Huang},
journal= {arXiv preprint arXiv:1912.09729},
year = {2020}
}
备注
AAAI 2020