通过聚焦未知领域放大蒙特卡洛树搜索中的探索
人工智能
2024-02-14 v1
摘要
蒙特卡洛树搜索（MCTS）是一种有效的随时算法，拥有广泛的应用。它策略性地分配计算资源以聚焦于搜索树中有前景的部分，使其成为大型搜索空间中极具吸引力的搜索算法。然而，当先前探索的区域仍然是最有前景的路径时，它往往会在重新评估这些区域上耗费有限的资源。我们提出的方法（称为 AmEx-MCTS）通过引入一种新颖的 MCTS 公式解决了这一问题。AmEx-MCTS 的核心在于解耦树搜索过程中的价值更新、访问计数更新和所选路径，从而能够排除已探索的子树或叶节点。这种分离保留了访问计数在 MCTS 中用于探索 - 利用平衡和质量度量的效用。由此产生的增强功能使得在相同的计算资源下能够实现更广泛的搜索，同时保留了 MCTS 的基本特征。扩大的覆盖范围不仅产生了更精确的估计，而且在更大更复杂的问题中被证明是有益的。我们的实证评估表明，AmEx-MCTS 的性能优于经典 MCTS 及相关方法，优势显著。
引用
@article{arxiv.2402.08511,
title = {Amplifying Exploration in Monte-Carlo Tree Search by Focusing on the Unknown},
author = {Cedric Derstroff and Jannis Brugger and Jannis Blüml and Mira Mezini and Stefan Kramer and Kristian Kersting},
journal= {arXiv preprint arXiv:2402.08511},
year = {2024}
}
备注
10 pages, 7 figures