LSTD($\lambda$) 的收敛速率与误差界

我们研究 LSTD($\lambda$)，即由 Boyan (2002) 提出的带有资格迹的最小二乘时序差分算法。该算法在大型马尔可夫决策过程中计算固定策略值函数的线性近似。在 $\beta$-mixing 假设下，针对任意 $\lambda \in (0,1)$ 值，我们推导了该算法收敛至其极限的收敛速率的高概率估计。我们得出了该算法误差的高概率界，扩展（并略有改进）了 Lazaric 等人 (2012) 在 $\lambda=0$ 特定情况下推导的结果。特别是，我们的分析阐明了关于所选线性空间质量和样本数量的 $\lambda$ 选择问题，这与模拟结果一致。