分布式鲁棒平均奖励强化学习的样本复杂度

我们受实际应用启发，这些应用中稳定的长期性能至关重要——例如机器人、运营研究和医疗保健——我们研究了分布式鲁棒（DR）平均奖励强化学习的问题。我们提出了两种算法，实现了接近最优的样本复杂度。第一个算法将问题简化为 DR 折扣马尔可夫决策过程（MDP），而第二个算法——锚定 DR 平均奖励 MDP——引入锚定状态以稳定不确定性集合中的受控转移核。假设名义 MDP 是均匀 Ergodic，我们证明两种算法在 KL 和 $f_k$-divergence 基于不确定性集合的情形下，均可实现样本复杂度为 $\widetilde{O}\left(|\mathbf{S}||\mathbf{A}| t_{\mathrm{mix}}^2\varepsilon^{-2}\right)$ 以估计最优策略以及鲁棒平均奖励，其中 $\varepsilon$ 为目标精度，$|\mathbf{S}|$ 和 $|\mathbf{A}|$ 分别为状态和动作空间的大小，$t_{\mathrm{mix}}$ 为名义 MDP 的混合时间。这代表了 DR 平均奖励强化学习的第一个有限样本收敛保证。我们进一步通过数值实验验证了我们算法的收敛率。