通过低秩矩阵估计实现样本高效的强化学习

我们考虑在生成模型下，以样本高效方式学习连续状态与动作空间强化学习的 $Q$ 函数的问题。若 $Q$ 函数 Lipschitz 连续，则根据经典非参数学习理论，估计 $\epsilon$-最优 $Q$ 函数的最小样本复杂度已知为 ${\Omega}(\frac{1}{\epsilon^{d_1+d_2 +2}})$，其中 $d_1$ 与 $d_2$ 分别表示状态与动作空间的维度。当将 $Q$ 函数视为核时，其诱导 Hilbert-Schmidt 算子，从而具有平方可和谱。这促使我们考虑一类由其“秩” $r$ 参数化的 $Q$ 函数参数族，当 $r \to \infty$ 时其包含所有 Lipschitz $Q$ 函数。作为关键贡献，我们开发了一种简单迭代学习算法，当最优 $Q$ 函数具有低秩 $r$ 且折扣因子 $\gamma$ 低于某阈值时，以 $\widetilde{O}(\frac{1}{\epsilon^{\max(d_1, d_2)+2}})$ 的样本复杂度找到 $\epsilon$-最优 $Q$ 函数。因此，这在样本复杂度上提供了指数级改进。为达成该结果，我们开发了一种新颖的矩阵估计算法，即使在任意有界噪声存在下也能以 $\ell_\infty$ 意义忠实估计未知低秩矩阵，这本身可能具有独立意义。在若干随机控制任务上的实证结果证实了我们的“低秩”算法的有效性。