SGD 中 minibatch 噪声的强度
机器学习
2022-03-09 v3 机器学习
摘要
随机梯度下降 (SGD) 中的噪声由 minibatch 采样引起，尽管其在深度学习中具有实际重要性，但人们对其理解甚少。本工作首次对局部极小值附近的 SGD 噪声和波动进行了系统研究。我们首先详细分析线性回归中的 SGD 噪声，然后推导出一个通用公式来近似不同类型极小值中的 SGD 噪声。在应用方面，我们的结果 (1) 为训练神经网络的稳定性提供了见解，(2) 表明大学习率可通过引入隐式正则化来帮助泛化，(3) 解释了线性学习率-批大小缩放定律为何在大学习率或小批量时失效，以及 (4) 可帮助理解 SGD 的离散时间特性如何影响最近发现的 SGD 幂律现象。
引用
@article{arxiv.2102.05375,
title = {Strength of Minibatch Noise in SGD},
author = {Liu Ziyin and Kangqiao Liu and Takashi Mori and Masahito Ueda},
journal= {arXiv preprint arXiv:2102.05375},
year = {2022}
}
备注
ICLR 2022 spotlight