关注未观测样本：一种并行化蒙特卡洛树搜索的简单方法
机器学习
2020-02-27 v5 机器学习
摘要
蒙特卡洛树搜索（MCTS）算法已在许多具有挑战性的基准（如计算机围棋）上取得巨大成功。然而，它们通常需要大量 rollout，使其应用代价高昂。此外，由于 MCTS 固有的顺序特性，将其并行化也极为困难：每次 rollout 严重依赖先前模拟估计的统计信息（如节点访问次数）以实现有效的探索-利用权衡。尽管存在这些困难，我们开发了算法 WU-UCT 以有效并行化 MCTS，其实现了线性加速，并且随着工作线程数增加仅表现出有限的性能损失。WU-UCT 的关键思想是我们引入的一组统计信息，用于追踪正在进行但尚未完成的模拟查询数量（称为未观测样本）。这些统计信息以原则性方式修改选择步骤中的 UCT 树策略，以在我们将最耗时的扩展与模拟步骤并行化时保持有效的探索-利用权衡。在专有基准与 Atari 游戏基准上的实验展示了 WU-UCT 相较现有技术的线性加速与优越性能。
引用
@article{arxiv.1810.11755,
title = {Watch the Unobserved: A Simple Approach to Parallelizing Monte Carlo Tree Search},
author = {Anji Liu and Jianshu Chen and Mingze Yu and Yu Zhai and Xuewen Zhou and Ji Liu},
journal= {arXiv preprint arXiv:1810.11755},
year = {2020}
}