面向经典规划中摊销 O(1) 节点选择的双层 MCTS

我们研究了一种基于多臂老虎机 (Multi-Armed Bandit, MAB) 的蒙特卡洛树搜索 (Monte-Carlo Tree Search, MCTS) 在经典规划中的高效实现。MCTS 的一个弱点是它会花费大量时间来决定接下来扩展哪个节点。虽然对于密集整数键，使用传统的基于数组的优先队列从包含 $N$ 个节点的 OPEN 表中选出一个节点具有 $O(1)$ 的运行时复杂度，但 MCTS 使用的基于树的 OPEN 表则需要 $O(\log N)$，这大致对应于搜索深度 $d$。在经典规划中，$d$ 可以任意大（例如，在 $k$ 盘汉诺塔问题中为 $2^k-1$），节点选择的运行时间非常显著，这与博弈树搜索不同，在博弈树搜索中，由于 $d$ 固有地受限于游戏本身（例如，围棋中 $d\leq 361$），与节点评估（推演）相比，该成本可以忽略不计。为了改善这一瓶颈，我们提出了一种对 MCTS 的双层修改，该修改从每个选定的叶节点运行最佳优先搜索，其扩展预算与 $d$ 成正比，从而实现了节点选择的摊销 $O(1)$ 运行时，与传统基于队列的 OPEN 表相当。此外，我们引入了树折叠（Tree Collapsing），这是一种减少动作选择步骤并进一步提高性能的增强技术。