无限时域平均奖励 MDP 中基于新型策略梯度方法的阶数最优后悔界

在无限时域平均奖励马尔可夫决策过程（MDP）的背景下，我们提出了两种具有一般参数化的基于策略梯度的算法。第一种算法采用隐式梯度传输进行方差缩减，确保了 $\tilde{\mathcal{O}}(T^{2/3})$ 量级的期望后悔界。第二种方法基于 Hessian 技术，确保了 $\tilde{\mathcal{O}}(\sqrt{T})$ 量级的期望后悔界。这些结果显著改进了现有技术水平 $\tilde{\mathcal{O}}(T^{3/4})$ 的后悔界，并达到了理论下界。我们还证明了平均奖励函数是近似 $L$-平滑的，这一结果在早期的研究中曾被假设。