通过动作剪枝发现 UCT 搜索树中的状态等价性
人工智能
2025-10-31 v1
摘要
增强蒙特卡罗树搜索（MCTS）一种方法是通过分组或抽象化状态或状态-动作对来提高其样本效率。尽管在如 On the Go Abstractions in Upper Confidence bounds applied to Trees（OGA-UCT）等算法中，状态-动作对的抽象化大多容易找到，但在噪声环境或大规模动作空间设置下几乎找不到状态抽象化，这是由于受制约条件所致。我们提供了理论和实证证据支持这一论点，并通过提出一种牺牲少量精度以查找更多抽象化的弱状态抽象化条件来稍微缓解此问题。我们将其称为理想剪枝抽象化在 UCT 中的状态抽象化（Ideal Pruning Abstractions in UCT, IPA-UCT），该方法在广泛的测试域和迭代预算范围内均优于 OGA-UCT（以及其任何衍生方法），如实验所验证。IPA-UCT 使用不同于 OGA-UCT 所采用的状态-动作对抽象化框架（即 ASAP 框架）的抽象框架，我们称为 IPA。此外，我们表明 IPA 和 ASAP 都是更通用框架 p-ASAP 的特例，而 p-ASAP 本身又是 ASASAP 框架的特例。
引用
@article{arxiv.2510.26346,
title = {Discovering State Equivalences in UCT Search Trees By Action Pruning},
author = {Robin Schmöcker and Alexander Dockhorn and Bodo Rosenhahn},
journal= {arXiv preprint arXiv:2510.26346},
year = {2025}
}