马尔可夫噪声下随机矩阵乘积的稳定性：在线性随机逼近与TD学习中的应用
机器学习
2021-02-02 v1 机器学习
概率论
统计理论
统计理论
摘要
本文研究由一般（可能无界）状态空间马尔可夫链驱动的随机矩阵乘积的指数稳定性。它是机器学习中随机算法分析（例如在线学习或强化学习中的参数跟踪）的基石。现有结果施加了强条件，如矩阵值函数的均匀有界性和马尔可夫链的均匀遍历性。我们的主要贡献是在如下条件下给出随机矩阵乘积第阶矩的指数稳定性结果：(i)底层马尔可夫链满足超Lyapunov漂移条件，(ii)矩阵值函数的增长由适当定义的函数（与漂移条件相关）控制。利用该结果，我们给出一般状态空间上带马尔可夫噪声的常步长与递减步长线性随机逼近格式的有限时间第阶矩界。我们针对强化学习中的线性值函数估计说明了这些发现。我们给出了TD（时序差分）算法族各类成员有限的有限时间第阶矩界。
引用
@article{arxiv.2102.00185,
title = {On the Stability of Random Matrix Product with Markovian Noise: Application to Linear Stochastic Approximation and TD Learning},
author = {Alain Durmus and Eric Moulines and Alexey Naumov and Sergey Samsonov and Hoi-To Wai},
journal= {arXiv preprint arXiv:2102.00185},
year = {2021}
}