期望窗口平均收益

在窗口平均收益目标中，给定一条无限路径，我们不考虑长期平均，而是考虑在滑过整条路径的有限窗口上，路径每个位置都能确保的最小收益。Chatterjee 等人研究了在双人博弈中判定玩家 1 是否有策略确保窗口平均收益至少为 0 的问题。本文中，我们考虑一个函数，给定路径返回该路径上可确保的窗口平均收益的上确界值，并展示如何在马尔可夫链和马尔可夫决策过程中计算其期望值。我们考虑该函数的两种变体：固定窗口平均收益（其中给定固定窗口长度 $l_{max}$）和有界窗口平均收益（其中我们计算所有可行窗口长度下窗口平均收益的最大可能值）。此外，对两种变体，我们考虑 (i) 问题的直接版本，即对每条路径，从其最开始就能确保的收益；以及 (ii) 非直接版本，即该问题直接版本的前缀无关对应形式。