折扣马尔可夫决策过程中近极小极大最优的强化学习

我们研究表格设定下折扣马尔可夫决策过程（MDPs）的强化学习问题。我们提出一种名为 UCBVI-$\gamma$ 的基于模型的算法，该算法基于不确定性下的乐观原则（optimism in the face of uncertainty principle）与 Bernstein 型奖励项。我们证明 UCBVI-$\gamma$ 达到了 $\tilde{O}\big({\sqrt{SAT}}/{(1-\gamma)^{1.5}}\big)$ 的悔值（regret），其中 $S$ 为状态数，$A$ 为动作数，$\gamma$ 为折扣因子，$T$ 为步数。此外，我们构造了一类困难 MDPs，并证明对于任意算法，其期望悔值至少为 $\tilde{\Omega}\big({\sqrt{SAT}}/{(1-\gamma)^{1.5}}\big)$。我们的上界在对数因子内与极小极大下界相匹配，这表明 UCBVI-$\gamma$ 对于折扣 MDPs 是近极小极大最优的。