关于某些受控马尔可夫链的稳定性及其在马尔可夫动态随机逼近中的应用

我们发展了一种实用方法来建立一大类受控马尔可夫链的稳定性，即在给定集合中的递归性。这些过程出现在应用科学的各个领域，并包含了重要的数值方法。我们特别展示了如何将参数化马尔可夫转移概率族和参数更新的个体Lyapunov函数及相关的漂移条件结合起来，形成联合过程的Lyapunov函数，从而证明所需的稳定性性质。特别值得注意的是，该方法甚至适用于过程的两个分量呈现时间尺度分离的情况，这是实际情况中的一个关键特征。然后，我们进一步展示了这种递归性质如何在随机逼近的背景下用于证明参数序列的收敛性，包括在所谓的步长自适应调整的情况下。最后，我们证明了这些结果适用于计算统计学及相关领域的各种算法。