有多少因素影响SGD中的极小值？
机器学习
2020-09-25 v1 机器学习
摘要
随机梯度下降（SGD）常被用于训练深度神经网络（DNNs），已有研究致力于探究SGD的收敛动力学以及SGD所找到的极小值。文献中已识别的影响因素包括学习率、批大小、Hessian矩阵和梯度协方差，并且使用随机微分方程对SGD建模，并建立这些因素之间的关系以刻画SGD找到的极小值。研究发现批大小与学习率之比是凸显底层SGD动力学的一个主要因素；然而，其他重要因素（如Hessian矩阵和梯度协方差）的影响尚未完全达成一致。本文描述了近期文献中的因素与关系，并给出了有关这些关系的数值发现。特别地，它确认了Wang（2019）中得到的四因素及一般关系结果，而Jastrzębski等人（2018）中发现的三因素及相关关系结果可能不适用于所考虑的特殊情形之外。
引用
@article{arxiv.2009.11858,
title = {How Many Factors Influence Minima in SGD?},
author = {Victor Luo and Yazhen Wang},
journal= {arXiv preprint arXiv:2009.11858},
year = {2020}
}