MDP和马尔可夫链族中条件概率的快速计算
计算机科学中的逻辑
2026-05-14 v2
摘要
计算马尔可夫决策过程(MDP)中的最优条件可达概率可以通过归约到可达概率来实现。然而，这种归约产生循环、且常常难以求解的MDP。我们提出了一种替代且在实际中高效的方法来计算最优条件可达概率。该新方法数值稳定，可在无环MDP上线性时间内决定阈值问题，并产生与标准可达查询相当的性能。我们还将该方法集成到抽象-细化框架中以一次性分析数百万马尔可夫链。我们在来自贝叶斯网络分析、概率程序和运行时监控的基准测试上展示了新方法的有效性，并实现了数个数量级的加速。
引用
@article{arxiv.2605.11897,
title = {Fast Computation of Conditional Probabilities in MDPs and Markov Chain Families},
author = {Milan Češka and Sebastian Junges and Luko van der Maas and Filip Macák and Tim Quatmann},
journal= {arXiv preprint arXiv:2605.11897},
year = {2026}
}