ELF Mini-RTS 上的神经虚拟自博弈
机器学习
2019-02-07 v1 机器学习
摘要
尽管在 Atari 2600 等视频游戏中取得了显著成功，当前 AI 尚不能在实时战略（RTS）游戏领域击败人类冠军。原因之一是 RTS 游戏是多智能体游戏，其中单智能体强化学习方法不能简单套用，因为环境不是平稳的马尔可夫决策过程。在本文中，我们通过将用于寻找纳什均衡的博弈论方法——神经虚拟自博弈（NFSP）应用于 ELF 平台上提供的一个小而重要的 RTS 游戏 Mini-RTS，向寻找 RTS 游戏的博弈论解迈出第一步。更具体地，我们展示了 NFSP 可以有效结合策略梯度强化学习并应用于 Mini-RTS。实验结果还表明，通过使用策略梯度的简单自博弈对模型进行预训练，可以大幅改善 NFSP 的可扩展性，尽管缺乏收敛性的理论保证，但这种预训练本身给出了一种强策略。
引用
@article{arxiv.1902.02004,
title = {Neural Fictitious Self-Play on ELF Mini-RTS},
author = {Keigo Kawamura and Yoshimasa Tsuruoka},
journal= {arXiv preprint arXiv:1902.02004},
year = {2019}
}
备注
AAAI-19 Workshop on Reinforcement Learning in Games