计算带马尔可夫噪声的常数步长随机逼近的偏差

我们研究带马尔可夫噪声和常数步长$\alpha$的随机逼近算法。我们开发了一种基于无穷小生成元比较的方法来研究算法的偏差，即$\theta_n$（第$n$次迭代的值）与$\theta^*$（相应ODE的唯一平衡点）之间的期望差。我们证明，在一定的光滑条件下，该偏差为$O(\alpha)$阶。此外，我们证明时间平均偏差等于$\alpha V + O(\alpha^2)$，其中$V$是由Lyapunov方程刻画的常数，表明$\mathbb{E}[\bar{\theta}_n] \approx \theta^*+V\alpha + O(\alpha^2)$，其中$\bar{\theta}_n=(1/n)\sum_{k=1}^n\theta_k$是Polyak-Ruppert平均。我们还证明$\bar{\theta}_n$以高概率收敛到$\theta^*+\alpha V$附近。我们说明了如何将其与Richardson-Romberg外推结合，推导出偏差为$O(\alpha^2)$阶的迭代方案。