随机蒙特卡罗树搜索中的幂均值估计

蒙特卡罗树搜索(MCTS)是一种广泛用于在线规划的策略，将蒙特卡罗抽样与前向树搜索相结合。其成功依赖于树的上置信下界(UCT)算法，这是多臂老虎机问题中UCB方法的扩展。然而，UCT的理论基础不完整，因为其对动作选择的对数奖励项存在错误，导致开发出带多项式探索奖励的固定深度MCTS(Fixed-Depth-MCTS)以平衡探索与开发~\citep{shah2022journal}。UCT和Fixed-Depth-MCTS都受到偏置价值估计的制约：加权求和低估了最优值，而最大值高估了它~\citep{coulom2006efficient}。幂均值估计器提供了一种均衡的解决方案，位于平均值和最大值之间。Power-UCT~\citep{dam2019generalized}采用该估计器以获得更准确的价值估计，但其理论分析仍不完整。本文引入了随机Power-UCT，一种用于随机马尔可夫决策过程(MDP)的MCTS算法，采用幂均值估计器。我们分析了其估计根节点价值的多项式收敛，并显示其与Fixed-Depth-MCTS相同的收敛速率为$\mathcal{O}(n^{-1/2})$，其中$n$为访问轨迹的数量，后者是前者的特例。我们的理论结果在各种随机MDP环境中的实证测试中得到验证。