有序分支 MDP 的定性多目标可达性

我们研究有序分支马尔可夫决策过程（OBMDPs），或等价的上下文无关 MDP 的定性多目标可达性问题，建立在分支马尔可夫决策过程（BMDPs）单目标可达性已有结果之上。我们为 OBMDPs 的“几乎必然”与“极限必然”多目标可达性分别提供两种算法。具体而言，给定一个 OBMDP $\mathcal{A}$、一个起始非终结符以及一组大小为 $k = |K|$ 的目标非终结符集合 $K$，我们的第一个算法判定生成一棵包含集合 $K$ 中每个目标非终结符的树的上确界概率是否为 $1$。我们的第二个算法判定玩家是否存在一种策略，以几乎必然（概率为 $1$）生成一棵包含集合 $K$ 中每个目标非终结符的树。需要这两种独立算法：我们表明，在此背景下，多目标可达性的“几乎必然”$\not=$“极限必然”，即存在这样的 OBMDP，玩家可能没有任何策略能在同一生成树中达到恰好概率为 $1$ 地到达集合 $K$ 中所有目标，但可能有一列策略使概率任意接近 $1$。两种算法运行时间为 $2^{O(k)} \cdot |\mathcal{A}|^{O(1)}$，其中 $|\mathcal{A}|$ 为给定 OBMDP $\mathcal{A}$ 的总比特编码长度。因此当 $k$ 固定时它们多项式时间运行，且关于 $k$ 为固定参数可处理。此外，我们表明即使定性的几乎必然（与极限必然）多目标可达性判定问题，当目标非终结符集合 $K$ 的大小 $k$ 不固定时，一般而言是 NP-hard 的。