具PAC级保证的风险安全蒙特卡树搜索
机器学习
2025-08-08 v1 人工智能
摘要
仅就蒙特卡罗树搜索(MCTS)中的期望收益作出决策无法考虑与决策相关的高风险、不利结果的潜在范围。为此，安全感知的MCTS通常会考虑某种受限变体——通过引入某种均值风险度量或硬性成本阈值。这些方法无法就极端或高风险结果(即尾部风险)提供严格的尾部安全保证，可能在高风险场景中导致严重后果。本文通过开发两种新型解决方案来解决此问题。我们首先提出了CVaR-MCTS，将协调尾部风险度量Conditional Value-at-Risk(CVaR)嵌入MCTS。我们的CVaR-MCTS以参数为期望损失在"最差情形"中实现显式的尾部风险控制。其次，我们进一步解决由于样本有限导致的尾部风险估计偏差问题。我们提出了Wasserstein-MCTS(或W-MCTS)，通过引入一个具有半径的第一阶Wasserstein模糊集合来刻画尾部风险估计的不确定性。我们为CVaR-MCTS和W-MCTS均证明了PAC尾部安全保证，并建立了它们的后悔值。在多样化的仿真环境中进行评估表明，我们提出的方法优于现有基线方法，有效实现了稳健的尾部风险保证，同时提高了奖励和稳定性。
引用
@article{arxiv.2508.05441,
title = {Tail-Risk-Safe Monte Carlo Tree Search under PAC-Level Guarantees},
author = {Zuyuan Zhang and Arnob Ghosh and Tian Lan},
journal= {arXiv preprint arXiv:2508.05441},
year = {2025}
}