乐观强化学习 regret 分布的尾部分析

我们推导乐观强化学习在有限时限表格马尔可夫决策过程（其中转移动力学未知）中的 regret 的实例相关尾部界限。我们首先研究一种 UCBVI 类型（基于模型的方法）算法，通过对累积 regret $R_K$ 超过阈值 $x$ 的概率 $P(R_K \ge x)$ 进行显式界限分析，超越仅分析 $E[R_K]$ 或单个高概率分位点的限制。我们分析了两种自然的探索奖励方案：(i) 依赖于总回合数 $K$ 的方案，显式包含总回合数 $K$；(ii) 依赖于当前回合索引的 $K$ 独立（即时）方案。我们随后在 $K$ 依赖奖励方案下，对乐观 Q 学习（基于模型的方法）进行分析。在模型基和基于模型的方法中，我们获得的 $P(R_K \ge x)$ 上界具有明显的两段结构：从实例相关尺度开始的亚高斯尾，随后在转换阈值之后转为亚 Weibull 尾。我们进一步推导了相应的实例相关 $E[R_K]$ 期望 regret 界限。该提议算法依赖调谐参数 $\alpha$，该参数在平衡期望 regret 与 regret 表现亚高斯衰减的范围之间起作用。