存在转移不确定性时的蒙特卡洛树搜索
人工智能
2024-05-24 v1 机器学习
摘要
蒙特卡洛树搜索 (MCTS) 是一种广泛用于决策的基于搜索的框架。它传统上应用于拥有完美环境模拟模型的领域。我们研究并改进了在环境模型给定但不完美情境下的 MCTS。我们表明，模型与实际环境之间的差异会导致标准 MCTS 性能显著下降。因此，我们开发了不确定性自适应 MCTS (UA-MCTS)，这是 MCTS 框架内一种更鲁棒的算法。我们估计给定模型中的转移不确定性，并将搜索引导至状态空间中更确定的转移。我们通过考虑这些估计值，修改了所有四个 MCTS 阶段以改善搜索行为。我们证明，在受损多臂老虎机情形下，添加不确定性信息以自适应 UCB 能比标准 UCB 产生更紧的遗憾界。在实证方面，我们在 MinAtar 测试套件的确定性领域上评估了 UA-MCTS 及其各个组件。我们的结果表明，UA-MCTS 在存在模型转移误差的情况下显著提升了 MCTS 的性能。
引用
@article{arxiv.2312.11348,
title = {Monte Carlo Tree Search in the Presence of Transition Uncertainty},
author = {Farnaz Kohankhaki and Kiarash Aghakasiri and Hongming Zhang and Ting-Han Wei and Chao Gao and Martin Müller},
journal= {arXiv preprint arXiv:2312.11348},
year = {2024}
}