方差缩减Q学习是极小极大的最优方法

我们引入并分析了一种方差缩减Q学习形式。对于具有有限状态空间$\mathcal{X}$和动作空间$\mathcal{U}$的$\gamma$-折扣MDP，我们证明其在$\ell_\infty$-范数下使用$\mathcal{O} \left(\left(\frac{D}{ \epsilon^2 (1-\gamma)^3} \right) \; \log \left( \frac{D}{(1-\gamma)} \right) \right)$个样本即可产生最优$Q$-函数的$\epsilon$-精度估计，其中$D = |\mathcal{X}| \times |\mathcal{U}|$。该保证与已知的极小极大下界在折扣复杂度的对数因子内相匹配。相比之下，我们以往的工作表明普通$Q$-学习在最坏情况下对折扣复杂度具有四次标度。