基于熵风险的蒙特卡罗树搜索
机器学习
2026-02-06 v2
摘要
我们提出一种针对具有熵风险度量 (ERM) 目标的风险感知马尔可夫决策过程 (MDP) 的 provable 正确蒙特卡罗树搜索 (MCTS) 算法。我们对该算法进行非渐近分析，证明该算法：(i) 在正确性上——根节点处获得的经验 ERM 收敛于最优 ERM；(ii) 拥有多项式 regret 收敛性。我们的算法成功利用了解决 ERM 目标下风险感知 MDP 的动态规划公式，这些公式由前期工作在基于上置信界的树形搜索算法中引入。最后，我们提供了一组说明性实验，将风险感知 MCTS 方法与相关基线方法进行比较。
引用
@article{arxiv.2601.17667,
title = {Entropic Risk-Aware Monte Carlo Tree Search},
author = {Pedro P. Santos and Jacopo Silvestrin and Alberto Sardinha and Francisco S. Melo},
journal= {arXiv preprint arXiv:2601.17667},
year = {2026}
}