具有马尔可夫噪声的双时间尺度线性随机逼近的紧致有限时间界

随机逼近（SA）是一种利用噪声样本寻找算子不动点的迭代算法，广泛应用于优化和强化学习（RL）中。RL中的噪声具有马尔可夫结构，在某些情况下，如梯度时序差分（GTD）方法，SA被用于双时间尺度框架。这种组合给分析带来了显著的理论挑战。我们推导了具有马尔可夫噪声的线性双时间尺度SA迭代误差的上界。我们证明均方误差以 $trace (\Sigma^y)/k + o(1/k)$ 衰减，其中 $k$ 是迭代次数，$\Sigma^y$ 是适当定义的协方差矩阵。我们界的一个关键特征是主导项 $\Sigma^y$ 与双时间尺度SA的中心极限定理（CLT）中的协方差精确匹配，我们称之为紧致有限时间界。我们通过建立离策略算法TDC、GTD和GTD2的样本复杂度来说明它们在RL中的应用。线性双时间尺度SA的一个被广泛研究的特例是带有Polyak-Ruppert平均的线性SA。我们给出了与CLT协方差矩阵相对应的紧致有限时间界。这些界可用于研究带有Polyak-Ruppert平均的TD学习。