有限学习率随机梯度下降的噪声与涨落
机器学习
2021-06-14 v4 机器学习
摘要
在消失学习率 regime 下，随机梯度下降（SGD）现在已相对被较好理解。在这项工作中，我们提出研究 SGD 及其变体在非消失学习率 regime 下的基本性质。重点在于推导精确可解的结果并讨论其含义。本工作的主要贡献是推导了带和不带动量的二次损失函数下离散时间 SGD 的平稳分布；特别地，我们结果的一个含义是离散时间动力学引起的涨落呈现扭曲形状，并且比连续时间理论所能预测的要大得多。本工作所考虑的理论应用示例包括 SGD 变体的近似误差、小批量噪声的效应、最优贝叶斯推断、从尖锐极小中逃逸的速率，以及包括阻尼牛顿法、自然梯度下降和 Adam 在内的一些二阶方法的平稳协方差。
引用
@article{arxiv.2012.03636,
title = {Noise and Fluctuation of Finite Learning Rate Stochastic Gradient Descent},
author = {Kangqiao Liu and Liu Ziyin and Masahito Ueda},
journal= {arXiv preprint arXiv:2012.03636},
year = {2021}
}
备注
Camera-ready version for the Thirty-eighth International Conference on Machine Learning (ICML 2021). 12 + 14 pages, 6 + 3 figures, 1 + 0 table. *First two authors contributed equally