深度神经网络中随机梯度噪声的尾指数分析
机器学习
2019-01-21 v1 机器学习
摘要
随机梯度下降(SGD)算法中的梯度噪声(GN)在大数据场景下通常被认为是高斯的，这是基于经典中心极限定理(CLT)成立的假设。这一假设常出于数学便利而做出，因为它使得SGD可以被分析为由布朗运动驱动的随机微分方程(SDE)。我们认为高斯性假设在深度学习设置中可能不成立，因此使得基于布朗运动的分析不恰当。受非高斯自然现象的启发，我们在更一般的背景下考虑GN，并引入广义中心极限定理(GCLT)，该定理表明GN收敛于一个重尾的-稳定随机变量。据此，我们建议将SGD分析为由Lévy运动驱动的SDE。此类SDE可能引发“跳跃”，根据已有的亚稳态理论，这些跳跃迫使SDE从窄最小值过渡到更宽的最小值。为了验证-稳定假设，我们在常见的深度学习架构上进行了大量实验，结果表明在所有设置中，GN高度非高斯且具有重尾。我们进一步研究了不同网络架构和规模、损失函数以及数据集下的尾部行为。我们的结果开辟了一个不同的视角，并为SGD偏好宽最小值的信念提供了更多启示。
引用
@article{arxiv.1901.06053,
title = {A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks},
author = {Umut Simsekli and Levent Sagun and Mert Gurbuzbalaban},
journal= {arXiv preprint arXiv:1901.06053},
year = {2019}
}