分析学习算法中随机动力学的通用框架
最优化与控制
2022-09-29 v3 数据结构与算法
机器学习
摘要
分析学习算法的挑战之一在于目标值与随机噪声之间的循环纠缠。这也被称为“鸡生蛋蛋生鸡”现象，传统上并没有解决该问题的原则性方法。人们通过利用动态的特殊结构来解决问题，因此分析难以推广。在这项工作中，我们提出了一个简化的三步方法来解决“鸡生蛋蛋生鸡”问题，并给出了一个分析学习算法中随机动力学的通用框架。我们的框架组合了概率论中的标准技术，例如停止时间和鞅集中。我们通过给出三个非常不同的学习问题的统一分析来展示我们框架的能力和灵活性，这些分析具有末次迭代和强一致高概率收敛保证。这些问题是强凸函数的随机梯度下降、流式主成分分析，以及带有随机梯度下降更新的线性bandit。我们在所有三个动态上都改进或匹配了最先进的界。
引用
@article{arxiv.2006.06171,
title = {A General Framework for Analyzing Stochastic Dynamics in Learning Algorithms},
author = {Chi-Ning Chou and Juspreet Singh Sandhu and Mien Brabeeba Wang and Tiancheng Yu},
journal= {arXiv preprint arXiv:2006.06171},
year = {2022}
}