面向多智能体 MOBA 游戏的层次强化学习
机器学习
2019-06-24 v6 人工智能
摘要
即时战略（RTS）游戏因具有大状态空间、大动作空间与隐藏信息，需要宏观策略与微观策略以取得满意表现。本文提出一种用于掌握多人在线战术竞技（MOBA）游戏（RTS 游戏的一个子类型）的新型层次强化学习模型。本工作的创新在于：（1）提出一种层次框架，其中智能体通过模仿学习执行宏观策略，并通过强化学习实施微观操作；（2）开发一种简单的自学习方法以提升训练的样本效率；（3）在缺乏游戏引擎或应用程序编程接口（API）的情况下，为多智能体协作设计稠密奖励函数。最后，进行了多种实验以验证所提方法相对于其他最先进（state-of-the-art）强化学习算法的优越性能。智能体成功学会战斗并以 100% 胜率击败青铜级内置 AI，且实验表明我们的方法能为一种移动端 MOBA 游戏《王者荣耀》的 5v5 模式创造出具有竞争力的多智能体。
引用
@article{arxiv.1901.08004,
title = {Hierarchical Reinforcement Learning for Multi-agent MOBA Game},
author = {Zhijian Zhang and Haozheng Li and Luo Zhang and Tianyin Zheng and Ting Zhang and Xiong Hao and Xiaoxin Chen and Min Chen and Fangxu Xiao and Wei Zhou},
journal= {arXiv preprint arXiv:1901.08004},
year = {2019}
}
备注
7 pages, 7 figures