具有时变奖励的大规模马尔可夫决策过程

我们考虑奖励未知且可能以对抗方式变化的马尔可夫决策过程（MDPs）。我们提供了一种算法，其达到了 $O( \sqrt{\tau (\ln|S|+\ln|A|)T}\ln(T))$ 的最先进后悔界，其中 $S$ 为状态空间，$A$ 为动作空间，$\tau$ 为 MDP 的混合时间，$T$ 为周期数。该算法每周期的计算复杂度关于 $|S|$ 和 $|A|$ 为多项式。我们随后考虑实践中常遇到的一种设定，其中 MDP 的状态空间过大而无法求得精确解。通过使用维度 $d\ll|S|$ 的线性架构近似状态-动作占据测度，我们提出了一种修正算法，其计算复杂度关于 $d$ 为多项式。我们也证明了该修正算法的后悔界，据我们所知，这是针对具有时变奖励的大规模 MDP 的第一个 $\tilde{O}(\sqrt{T})$ 后悔界。