基于最优传输不确定性传播的蒙特卡洛树搜索
人工智能
2023-09-20 v1
摘要
本文针对高度随机且部分可观测的马尔可夫决策过程，提出了一种新颖的蒙特卡洛树搜索（MCTS）回溯策略。我们采用概率方法，将价值节点与动作价值节点均建模为高斯分布。我们引入一种新颖的回溯算子，将价值节点计算为其动作价值子节点的Wasserstein重心，从而将估计的不确定性沿树传播至根节点。我们研究了将 -Wasserstein重心与 -散度新颖结合时所用的该回溯算子，并指出了其与广义均值回溯算子的显著联系。我们以基于乐观选择与Thompson采样的两种采样策略补充该概率回溯算子，得到我们的Wasserstein MCTS算法。我们提供了渐近收敛至最优策略的理论保证，并在多个随机与部分可观测环境中进行实证评估，结果表明我们的方法优于知名相关基线。
引用
@article{arxiv.2309.10737,
title = {Monte-Carlo tree search with uncertainty propagation via optimal transport},
author = {Tuan Dam and Pascal Stenger and Lukas Schneider and Joni Pajarinen and Carlo D'Eramo and Odalric-Ambrym Maillard},
journal= {arXiv preprint arXiv:2309.10737},
year = {2023}
}