重访随机梯度噪声与动力学的特征
机器学习
2021-09-22 v1 人工智能
摘要
在本文中，我们刻画了随机梯度的噪声，并基于梯度优化器分析了训练深度神经网络时噪声诱导的动力学。具体而言，我们首先证明随机梯度噪声具有有限方差，因此经典的中央极限定理（CLT）适用；这表明梯度噪声渐近高斯。这一渐近结果验证了被广泛接受的高斯噪声假设。我们澄清，最近观察到的梯度噪声中的重尾现象可能并非内在属性，而是小批量尺寸不足的后果；作为有限独立同分布随机变量之和的梯度噪声尚未达到 CLT 的渐近 regime，因而偏离高斯。我们定量度量了噪声高斯近似的优良度，支持了我们的结论。其次，我们利用朗之万方程分析了随机梯度下降的噪声诱导动力学，赋予优化器中的动量超参数以物理解释。进而我们证明随机梯度下降稳态分布的存在性，并在小学习率下近似该分布。
引用
@article{arxiv.2109.09833,
title = {Revisiting the Characteristics of Stochastic Gradient Noise and Dynamics},
author = {Yixin Wu and Rui Luo and Chen Zhang and Jun Wang and Yaodong Yang},
journal= {arXiv preprint arXiv:2109.09833},
year = {2021}
}
备注
18 pages