表格型 MDP 的尖锐间隔相关方差感知 regret 上界

我们考虑表格型 MDP 的间隔相关 regret 上界。我们表明，单调值传播 (Monotonic Value Propagation, MVP) 算法实现了方差感知的间隔相关 regret 上界，形式为 $$\tilde{O}\left(\left(\sum_{\Delta_h(s,a)>0} \frac{H^2 \log K \land \mathtt{Var}_{\max}^{\text{c}}}{\Delta_h(s,a)} +\sum_{\Delta_h(s,a)=0}\frac{ H^2 \land \mathtt{Var}_{\max}^{\text{c}}}{\Delta_{\mathrm{min}}} + SAH^4 (S \lor H) \right) \log K\right),$$ 其中 $H$ 为计划时域，$S$ 为状态数，$A$ 为动作数，$K$ 为剂集数。这里，$\Delta_h(s,a) =V_h^* (a) - Q_h^* (s, a)$ 表示次优间隔，$\Delta_{\mathrm{min}} := \min_{\Delta_h (s,a) > 0} \Delta_h(s,a)$。$\mathtt{Var}_{\max}^{\text{c}}$ 表示条件总方差的最大值，计算方式为在所有 $(\pi, h, s)$ 元组中，对给定策略 $\pi$ 在步长 $h$ 访问状态 $s$ 的轨迹条件下的预期总方差的 maximum。$\mathtt{Var}_{\max}^{\text{c}}$ 刻画了在学习任何 $(h, s)$ 对时遇到的最大随机性。我们的结果源于对次优间隔与加权和的新型分析，可能适用于其他算法。为补充本研究，我们建立了一个下界 $$\Omega \left( \sum_{\Delta_h(s,a)>0} \frac{H^2 \land \mathtt{Var}_{\max}^{\text{c}}}{\Delta_h(s,a)}\cdot \log K\right),$$ 说明即使在最大无条件总方差（不以 $(h, s)$ 为条件）趋于零的情况下，$\mathtt{Var}_{\max}^{\text{c}}$ 的依赖性仍是必需的。