多维马尔可夫决策过程中的百分位数查询

具有多维权重的马尔可夫决策过程（MDP）可用于分析具有多个可能冲突目标且需要权衡分析的系统。我们研究了此类 MDP 中百分位数查询的复杂性，并给出了合成强制执行此类约束的策略的算法。给定一个多维加权 MDP、一个定量收益函数 $f$、阈值 $v_i$（每维一个）以及概率阈值 $\alpha_i$，我们展示了如何计算单一策略，以强制执行对于所有维度 $i$，满足 $f_i(\rho) \geq v_i$ 的结果 $\rho$ 的概率至少为 $\alpha_i$。我们考虑了文献中经典的定量收益（sup, inf, lim sup, lim inf, mean-payoff, truncated sum, discounted sum）。我们的工作将 Etessami 等人在无权 MDP 中研究的多目标模型检测问题扩展到了定量情形。