基于玻尔兹曼探索的蒙特卡洛树搜索
人工智能
2024-04-12 v1 机器学习
摘要
蒙特卡洛树搜索 (Monte-Carlo Tree Search, MCTS) 方法，例如应用于树的上置信界算法 (Upper Confidence Bound applied to Trees, UCT)，是自动化规划技术的关键。然而，当一个最优动作最初看起来劣于其他动作时，UCT 在探索该动作时可能进展缓慢。最大熵树搜索 (Maximum ENtropy Tree-Search, MENTS) 将最大熵原理融入 MCTS 方法，利用玻尔兹曼策略 (Boltzmann policies) 来采样动作，自然地鼓励了更多探索。在本文中，我们指出了 MENTS 的一个主要局限：针对最大熵目标的最优动作不一定对应于原始目标的最优动作。我们引入了两种算法，玻尔兹曼树搜索 (Boltzmann Tree Search, BTS) 和衰减熵树搜索 (Decaying ENtropy Tree-Search, DENTS)，它们解决了这些局限性，并保留了玻尔兹曼策略的优点，例如可以通过别名方法 (Alias method) 更快地采样动作。我们的实证分析表明，我们的算法在包括围棋在内的多个基准领域表现出一致的高性能。
引用
@article{arxiv.2404.07732,
title = {Monte Carlo Tree Search with Boltzmann Exploration},
author = {Michael Painter and Mohamed Baioumy and Nick Hawes and Bruno Lacerda},
journal= {arXiv preprint arXiv:2404.07732},
year = {2024}
}
备注
Camera ready version of NeurIPS2023 paper