基于深度神经网络的时间差学习的改进有限时分析

时间差 (TD) 学习算法采用神经网络函数参数化在众多实际大规模强化学习任务中已建立了良好的经验成功。然而，由于动作价值近似的非线性，这些算法的理论理解仍具有挑战性。本文发展了针对一般 $L$ 层神经网络的神经 TD 方法的改进非渐近分析。发展了新的证明技术，推导出改进的 $\tilde{\mathcal{O}}(\epsilon^{-1})$ 样本复杂度。据我们所知，这是首个在马尔可夫采样下实现 $\tilde{\mathcal{O}}(\epsilon^{-1})$ 复杂度的神经 TD 的有限时分析，与现有文献中最好的 $\tilde{\mathcal{O}}(\epsilon^{-2})$ 复杂度不同。