TStarBot-X:星际争霸 II 完整对局中高效联盟训练的开源综合研究
人工智能
2021-05-03 v2 机器学习
摘要
星际争霸作为最具难度的电子竞技游戏之一,拥有悠久的职业赛事历史,吸引了数代玩家与粉丝,也引发了人工智能研究的强烈关注。近日,Google 的 DeepMind 发布了 AlphaStar,一个在星际争霸 II 中达到大师级、可使用与人类相当的动作空间与操作与人类对战的 AI。本文中,我们介绍一个名为 TStarBot-X 的新 AI 智能体,它在更少计算量级的训练下能与专家人类玩家竞技。TStarBot-X 利用了 AlphaStar 中引入的重要技术,也得益于大量创新,包括新联盟训练方法、新颖多智能体角色、规则引导策略搜索、稳定化策略改进、轻量神经网络架构以及模仿学习中的重要性采样等。我们表明,在计算规模少一个量级的情况下,忠实复现 AlphaStar 的方法无法成功,而所提技术是确保 TStarBot-X 竞技表现的必要因素。我们揭示了补充于 AlphaStar 所述的所有技术细节,展示了联盟训练、强化学习与模仿学习中影响智能体表现的最敏感部分。最重要的是,这是一项开源研究,所有代码与资源(包括训练好的模型参数)均可通过 \url{https://github.com/tencent-ailab/tleague_projpage} 公开获取。我们期望该研究能裨益于学术与工业界未来解决如星际争霸般复杂问题的研究,并可能为所有星际争霸 II 玩家与其他 AI 智能体提供陪练对手。
引用
@article{arxiv.2011.13729,
title = {TStarBot-X: An Open-Sourced and Comprehensive Study for Efficient League Training in StarCraft II Full Game},
author = {Lei Han and Jiechao Xiong and Peng Sun and Xinghai Sun and Meng Fang and Qingwei Guo and Qiaobo Chen and Tengfei Shi and Hongsheng Yu and Xipeng Wu and Zhengyou Zhang},
journal= {arXiv preprint arXiv:2011.13729},
year = {2021}
}
备注
29 pages