基于蒙特卡洛树搜索验证马尔可夫决策过程中可达性的方法
计算机科学中的逻辑
2018-09-11 v1
摘要
马尔可夫决策过程中的最大可达概率可以使用值迭代（VI）计算。近来，引入了基于模拟的 VI 启发式扩展，例如有界实时动态规划（BRTDP），其通常能够避免对整体状态空间的显式分析，同时保持对计算结果保证。在本文中，我们引入了一类此类启发式方法，基于蒙特卡洛树搜索（MCTS），一种在各种机器学习环境中备受赞誉的技术。我们提供了一系列从 MCTS 到 BRTDP 的算法。我们评估了这些技术，并表明对于更大的、VI 不再适用的例子，我们的技术比 BRTDP 具有更广泛的适用性，且仅带来微小的额外开销。
引用
@article{arxiv.1809.03299,
title = {Monte Carlo Tree Search for Verifying Reachability in Markov Decision Processes},
author = {Pranav Ashok and Tomáš Brázdil and Jan Křetínský and Ondřej Slámečka},
journal= {arXiv preprint arXiv:1809.03299},
year = {2018}
}