阈值UCT：带帕累托曲线的成本约束蒙特卡洛树搜索
人工智能
2024-12-19 v1
摘要
约束马尔可夫决策过程（CMDP）是随机不确定性下安全序贯决策的主要框架，其中智能体在保持期望成本低于给定阈值的同时优化期望收益。在CMDP的规划和学习算法中，基于蒙特卡洛树搜索（MCTS）的方法因其高效性和可扩展到更复杂框架（如部分可观测设置和博弈）而尤为重要。然而，当前基于MCTS的CMDP方法要么难以找到安全（即满足约束）的策略，要么过于保守而无法找到有价值的策略。我们引入了阈值UCT（T-UCT），一种基于在线MCTS的CMDP规划算法。与之前基于MCTS的CMDP规划器不同，T-UCT在整个搜索树中显式估计成本-效用权衡的帕累托曲线，并结合这些曲线以及新颖的动作选择和阈值更新规则来寻求安全且有价值的策略。我们的实验表明，我们的方法显著优于文献中的最先进方法。
关键词
引用
@article{arxiv.2412.13962,
title = {Threshold UCT: Cost-Constrained Monte Carlo Tree Search with Pareto Curves},
author = {Martin Kurečka and Václav Nevyhoštěný and Petr Novotný and Vít Unčovský},
journal= {arXiv preprint arXiv:2412.13962},
year = {2024}
}