保持在预算内的概率

给定转移标记有非负整数成本的马尔可夫链和马尔可夫决策过程 (MDP)，我们研究了判定累积成本满足不等式布尔组合的路径概率是否超过给定阈值的计算复杂度。对于无环马尔可夫链，我们证明该问题是 PP-完全的；而对于一般马尔可夫链，该问题对 PosSLP 问题是困难的且属于 PSPACE。此外，对于无环和一般的 MDP，我们分别证明了其具有 PSPACE-完全性和 EXP-完全性。我们的结果对简洁表示的随机系统中计算奖励分位数的复杂度具有直接影响。