蒙特卡洛树搜索中的任意时刻序列减半算法
机器学习
2024-11-12 v1 人工智能
摘要
蒙特卡洛树搜索 (MCTS) 通常使用旨在最小化累积懊悔的多臂老虎机 (MAB) 策略 (如 UCB1) 作为选择策略。然而，在搜索树的根节点，最小化单纯懊悔更为合理。先前工作曾提出在根节点使用序列减半作为选择策略，理论上其在单纯懊悔方面表现更优。但序列减半要求预先确定迭代预算，这在实践中往往不切实际。本文提出了一种任意时刻版本的算法，可在任意时刻中止并仍返回满意结果，同时其设计旨在逼近序列减半的行为。在合成 MAB 问题和十种不同棋类游戏中的实证结果表明，该算法的性能与序列减半和 UCB1 (及其在 MCTS 中的对应变体) 具有竞争力。
引用
@article{arxiv.2411.07171,
title = {Anytime Sequential Halving in Monte-Carlo Tree Search},
author = {Dominic Sagers and Mark H. M. Winands and Dennis J. N. J. Soemers},
journal= {arXiv preprint arXiv:2411.07171},
year = {2024}
}
备注
Accepted by the Computers and Games 2024 conference