结合对手模型学习的增强型滚动时域进化算法：格斗游戏AI竞赛结果
人工智能
2020-04-01 v1 机器学习
摘要
格斗游戏AI竞赛（FTGAIC）为2人视频游戏AI提供了一个具有挑战性的基准。其挑战源于巨大的动作空间、角色风格与能力的多样性，以及游戏的实时性。本文中，我们提出一种将滚动时域进化算法（RHEA）与对手模型学习相结合的新型算法。该方法可直接应用于任何2人视频游戏。与常规RHEA不同，我们提出一种对手模型，并基于对手的历史观测，分别通过交叉熵的监督学习与策略梯度及Q-learning的强化学习进行优化。该模型在实时游戏过程中学习。借助学习到的对手模型，扩展后的RHEA能够基于对手可能的行为制定更切合实际的计划，这往往带来更好的结果。我们将我们的方法与FTGAIC 2018竞赛中的bot直接比较，发现我们的方法对所有三个角色均显著优于它们全部。此外，我们提出的采用基于策略梯度的对手模型的bot是2019年竞赛前五名中唯一未使用蒙特卡洛树搜索（MCTS）的bot，其获得第二名，且比冠军使用少得多的领域知识。
引用
@article{arxiv.2003.13949,
title = {Enhanced Rolling Horizon Evolution Algorithm with Opponent Model Learning: Results for the Fighting Game AI Competition},
author = {Zhentao Tang and Yuanheng Zhu and Dongbin Zhao and Simon M. Lucas},
journal= {arXiv preprint arXiv:2003.13949},
year = {2020}
}
备注
10 pages, 7 figures