马尔可夫噪声下非线性双时间尺度随机逼近的有限时间收敛速率

我们研究所谓的双时间尺度随机逼近，这是一种基于仿真的方法来寻找两个耦合非线性算子的根。我们的重点是刻画其在马尔可夫设定下的有限时间性能，这种设定常出现在随机控制与强化学习问题中。具体而言，我们考虑方法中的数据由马尔可夫过程生成，因此它们是相关的。这种相关数据导致对底层算子的有偏观测。在对算子与马尔可夫过程的一些相当标准的假设下，我们给出了一个刻画该方法生成的均方误差收敛到零的速率的公式。我们的结果表明，该方法以$\mathcal{O}(1/k^{2/3})$的速率实现期望收敛，其中$k$为迭代次数。我们的分析主要受到研究双时间尺度系统渐近收敛的经典奇异扰动理论的启发，即我们考虑一个精细刻画两次迭代之间耦合的李雅普诺夫函数。此外，我们利用底层马尔可夫过程的几何混合时间来处理数据中的偏差与依赖性。我们的理论结果补充了现有文献，其中马尔可夫噪声下非线性双时间尺度随机逼近的速率尚属未知。