双重蒙特卡洛树搜索
人工智能
2021-10-12 v2 多智能体系统
摘要
AlphaZero 结合深度神经网络与蒙特卡洛树搜索 (MCTS)，以白板方式成功训练了强化学习智能体。神经 MCTS 算法已通过自我对弈成功为博弈找到近最优策略。然而，AlphaZero 算法存在显著缺陷：由于求解国际象棋、围棋、将棋等博弈需使用复杂神经网络，其收敛时间长且需要高计算力。因此，若无尖端硬件则很难开展神经 MCTS 研究，这对许多有志于此的研究者构成障碍。本文提出一种称为 Dual MCTS 的新神经 MCTS 算法，有助于克服这些缺陷。Dual MCTS 使用两棵不同的搜索树、单个深度神经网络，以及一种利用 PUCB、滑动窗口和 epsilon-greedy 算法组合来更新搜索树的新技术。该技术适用于任何基于 MCTS 的算法以减少树的更新次数。我们表明，对于各种对称和非对称博弈，Dual MCTS 的表现优于最广泛使用的神经 MCTS 算法之一 AlphaZero。
引用
@article{arxiv.2103.11517,
title = {Dual Monte Carlo Tree Search},
author = {Prashank Kadam and Ruiyang Xu and Karl Lieberherr},
journal= {arXiv preprint arXiv:2103.11517},
year = {2021}
}
备注
8 pages, 4 figures