带马尔可夫噪声的双时间尺度随机逼近的中心极限定理：理论与应用
机器学习
2024-02-15 v2 机器学习
最优化与控制
摘要
双时间尺度随机逼近(TTSA)是迭代随机算法最通用的框架之一。这包括众所周知的随机优化方法，如SGD变体以及为双层或极小极大问题设计的方法，还包括强化学习，如基于梯度的时序差分(GTD)算法族。本文通过中心极限定理(CLT)对受控马尔可夫噪声下的TTSA进行了深入的渐近分析，揭示了受底层马尔可夫链影响的TTSA耦合动力学，这是以往仅针对鞅差噪声的TTSA的CLT结果未曾涉及的。基于我们的CLT，我们将其在高效采样策略中的应用范围从普通SGD扩展到分布式学习中更广泛的TTSA背景，从而拓宽了Hu等人(2022)的研究范围。此外，我们利用CLT结果推导了使用马尔可夫样本进行非线性函数逼近的GTD算法的统计性质，并展示了它们相同的渐近性能，这一视角在当前的有限时间界中并不明显。
引用
@article{arxiv.2401.09339,
title = {Central Limit Theorem for Two-Timescale Stochastic Approximation with Markovian Noise: Theory and Applications},
author = {Jie Hu and Vishwaraj Doshi and Do Young Eun},
journal= {arXiv preprint arXiv:2401.09339},
year = {2024}
}
备注
To appear in AISTATS 2024