常数步长非光滑压缩随机逼近的预极限耦合与稳态收敛
机器学习
2024-04-25 v2 机器学习
最优化与控制
概率论
摘要
受Q学习的启发，我们研究了具有常数步长的非光滑压缩随机逼近（SA）。我们关注两类重要的动力学：1）具有加性噪声的非光滑压缩SA，以及2）同步和异步Q学习，其同时具有加性和乘性噪声。对于这两种动力学，我们建立了迭代在Wasserstein距离下弱收敛到平稳极限分布。此外，我们提出了一种预极限耦合技术来建立稳态收敛，并刻画了当步长趋于零时平稳分布的极限。利用这一结果，我们推导出非光滑SA的渐近偏差与步长的平方根成正比，这与光滑SA形成鲜明对比。这种偏差刻画允许使用Richardson-Romberg外推法来减少非光滑SA中的偏差。
引用
@article{arxiv.2404.06023,
title = {Prelimit Coupling and Steady-State Convergence of Constant-stepsize Nonsmooth Contractive SA},
author = {Yixuan Zhang and Dongyan Huo and Yudong Chen and Qiaomin Xie},
journal= {arXiv preprint arXiv:2404.06023},
year = {2024}
}
备注
ACM SIGMETRICS 2024. 71 pages, 3 figures