蒙特卡洛树搜索中的前瞻病态
人工智能
2024-06-11 v2 多智能体系统
摘要
蒙特卡洛树搜索（MCTS）是一种搜索范式，因在计算机围棋领域的成功而首次崭露头角。早期理论工作确立了应用于树的上置信界（UCT）——MCTS 最流行的实例化——的可靠性和收敛界；然而，我们对 UCT 在实践中的行为方式仍存在显著的理解空白。在这项工作中，我们通过考察 UCT 在对抗环境下是否会表现出前瞻病态（一种最初在极小化极大搜索中观察到的悖论现象，即更大的搜索努力导致更差的决策）来解决其中一个空白。我们引入了一类新颖的合成博弈族，其提供了丰富的建模可能性，同时仍便于数学分析。我们的理论与实验结果表明，UCT 确实在该族中抽出的一系列博弈中易受病态行为的影响。
引用
@article{arxiv.2212.05208,
title = {Lookahead Pathology in Monte-Carlo Tree Search},
author = {Khoi P. N. Nguyen and Raghuram Ramanujan},
journal= {arXiv preprint arXiv:2212.05208},
year = {2024}
}