影响SGD极小值的三个因素
机器学习
2018-09-14 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
我们研究了应用于深度神经网络(DNNs)的随机梯度下降(SGD)的动力学与收敛性质。刻画学习率、批量大小与最终极小值的性质(如宽度或泛化能力)之间的关系仍是一个开放问题。为解决此问题,我们研究了先前提出的用随机微分方程(SDE)对SGD的近似。我们从理论上论证了三个因素——学习率、批量大小和梯度协方差——影响SGD所找到的极小值。特别地,我们发现学习率与批量大小之比是SGD动力学及最终极小值宽度的关键决定因素,且该比值越高导致更宽的极小值并往往更好的泛化。我们通过实验证实了这些发现。此外,我们包含的实验表明学习率调度可被批量大小调度替代,且学习率与批量大小之比是影响记忆过程的重要因素。
引用
@article{arxiv.1711.04623,
title = {Three Factors Influencing Minima in SGD},
author = {Stanisław Jastrzębski and Zachary Kenton and Devansh Arpit and Nicolas Ballas and Asja Fischer and Yoshua Bengio and Amos Storkey},
journal= {arXiv preprint arXiv:1711.04623},
year = {2018}
}
备注
First two authors contributed equally. Short version accepted into ICLR workshop. Accepted to Artificial Neural Networks and Machine Learning, ICANN 2018