随机梯度下降中的各向异性噪声：其逃离尖锐极小值的行为与正则化效应
机器学习
2019-06-11 v5 机器学习
摘要
近期，理解随机梯度下降（SGD）在深度神经网络背景下的行为引起了大量关注。沿此方向，我们研究一类带无偏噪声的基于梯度的优化动力学通用形式，其统一了 SGD 与标准 Langevin 动力学。通过考察该通用优化动力学，我们分析了 SGD 逃离极小值的行为及其正则化效应。推导了一个新颖的指标，通过度量噪声协方差与损失函数曲率的alignment来刻画逃离极小值的效率。基于该指标，建立了两个条件以表明何种噪声结构在逃离效率上优于各向同性噪声。我们进一步证明 SGD 中的各向异性噪声满足这两个条件，从而有助于有效逃离尖锐而不良的极小值，朝向通常泛化良好的更稳定和更平坦的极小值。我们系统性地设计了多种实验，以验证各向异性噪声相较于全梯度下降加各向同性扩散（即 Langevin 动力学）的益处。
引用
@article{arxiv.1803.00195,
title = {The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects},
author = {Zhanxing Zhu and Jingfeng Wu and Bing Yu and Lei Wu and Jinwen Ma},
journal= {arXiv preprint arXiv:1803.00195},
year = {2019}
}
备注
ICML 2019 camera ready