可数 MDP 中均值收益、总收益与点收益目标的策略复杂度

我们研究具有实值转移奖励的可数无限马尔可夫决策过程（MDP）。每条无限运行诱导出如下收益序列：1. 点收益（直接观测到的转移奖励序列），2. 总收益（迄今所有奖励之和的序列），以及 3. 均值收益。对于每种收益类型，目标均为最大化 $\liminf$ 非负的概率。我们建立了这些目标的策略复杂度完整图景，即 $\varepsilon$-最优（相应为最优）策略所需及充足的记忆量。某些情形可用无记忆确定性策略取胜，而其他情形需要步数计数器、奖励计数器或二者兼具。