噪声如何影响过参数化神经网络中的 Hessian 谱
机器学习
2019-10-30 v2 机器学习
摘要
随机梯度下降（SGD）构成了深度神经网络的核心优化方法。尽管已取得一些理论进展，为何 SGD 引导过参数化网络中的学习动态走向泛化良好的解仍不清楚。在此我们表明，对于损失地形中存在退化谷的过参数化网络，SGD 平均上降低损失 Hessian 的迹。我们还将该结果推广到其他噪声结构，并表明 Hessian 非退化子空间中的各向同性噪声会降低其行列式。除了解释 SGD 在塑造 Hessian 谱中的作用外，这为可能带来更好泛化性能的新优化方法打开了大门。我们在玩具模型和深度神经网络上通过实验验证了我们的结果。
引用
@article{arxiv.1910.00195,
title = {How noise affects the Hessian spectrum in overparameterized neural networks},
author = {Mingwei Wei and David J Schwab},
journal= {arXiv preprint arXiv:1910.00195},
year = {2019}
}