有限时域连续强化学习的一种易处理算法

我们考虑有限时域连续强化学习问题。本文贡献有三方面。首先，我们针对该问题给出一种基于乐观值迭代的易处理算法。其次，我们给出对于任何离散化状态空间的算法，其遗憾下界为 $\Omega(T^{2/3})$ 量级，改进了 Ortner 和 Ryabko \cite{contrl} 针对同一问题先前给出的 $\Omega(T^{1/2})$ 遗憾界。接着，在奖励和转移满足 Hölder 连续的假设下，我们证明离散化误差的上界为 $const.Ln^{-\alpha}T$。最后，我们给出一些简单实验以验证我们的命题。