非确定性状态转移下 UCB 算法的多项式 regret 分散性分析
机器学习
2025-02-12 v1 离散数学
摘要
蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS) 在完美信息场景中已证明有效解决决策问题。然而，其在随机性和不完全信息域的应用仍受限。本文在 addressing 非确定性状态转移问题的基础上，扩展了 MCTS 的理论框架。具体而言，基于 Shah 等人 (2020) 的工作，我们推导了针对带有随机转移的多臂老板问题中，上置信界 (Upper Confidence Bound, UCB) 算法的多项式 regret 分散性界限，提供了更完善的理论保证。我们的主要贡献在于证明这些界限同样适用于非确定性环境，确保其在随机性场景中的稳健性能。这一工作拓宽了 MCTS 应用于具有概率性结果的实际决策问题的适用范围，例如自动驾驶系统和金融决策。
引用
@article{arxiv.2502.06900,
title = {Polynomial Regret Concentration of UCB for Non-Deterministic State Transitions},
author = {Can Cömer and Jannis Blüml and Cedric Derstroff and Kristian Kersting},
journal= {arXiv preprint arXiv:2502.06900},
year = {2025}
}
备注
10 pages, 5 figures