基于鞅与逆 Lyapunov 方法的随机逼近收敛性
机器学习
2023-01-10 v3 机器学习
概率论
摘要
本文研究随机逼近（SA）算法的几乎必然有界性与收敛性。目前大多数可用的收敛性证明基于 ODE 方法，且迭代的几乎必然有界性是一个假设而非结论。在 Borkar-Meyn（2000）中表明，若 ODE 仅有一个全局吸引均衡，则在附加假设下迭代几乎必然有界，且 SA 算法收敛到期望解。本文的目标是给出上述结论的另一种证明，基于鞅方法，其比基于 ODE 的方法更简单且技术性更弱。作为前奏，我们证明了一个 ODE 全局渐近稳定性的新的充分条件。接下来我们证明了一个“逆” Lyapunov 定理：对于全局指数稳定系统，存在具有全局有界 Hessian 的合适 Lyapunov 函数。两个定理对稳定性理论研究者均有独立意义。然后，利用这些结果，我们给出 SA 算法几乎必然有界性与收敛性的充分条件。我们通过例子表明，我们的理论覆盖了某些现有结果（特别是 Borkar-Meyn（2000））未覆盖的情形。
引用
@article{arxiv.2205.01303,
title = {Convergence of Stochastic Approximation via Martingale and Converse Lyapunov Methods},
author = {M. Vidyasagar},
journal= {arXiv preprint arXiv:2205.01303},
year = {2023}
}
备注
20 pages; dedicated to Prof. Eduardo Sontag on the occasion of his 70th birthday, and to Prof. Rajeeva L. Karandikar on his 65th birthday