基于 von Mises-Fisher 分布的深度学习随机梯度下降方向性分析
机器学习
2018-11-29 v2 机器学习
摘要
尽管随机梯度下降（SGD）是近期深度学习取得成功背后的驱动力，我们对其在高维参数空间中动力学的理解仍然有限。近年来，一些研究者利用小批量梯度的随机性或信噪比来更好地刻画 SGD 的学习动力学。受这些工作启发，本文从几何视角通过考察小批量梯度范数与方向的随机性来分析 SGD。我们借助 von Mises-Fisher（VMF）分布提出小批量梯度方向集中性的模型，并表明小批量梯度的方向均匀性在 SGD 过程中增强。我们使用深度卷积网络实证验证该结果，并观察到梯度随机性与所提方向均匀性的相关性高于其与梯度范数随机性的相关性，表明小批量梯度的方向统计是 SGD 背后的主要因素。
引用
@article{arxiv.1810.00150,
title = {Directional Analysis of Stochastic Gradient Descent via von Mises-Fisher Distributions in Deep learning},
author = {Cheolhyoung Lee and Kyunghyun Cho and Wanmo Kang},
journal= {arXiv preprint arXiv:1810.00150},
year = {2018}
}
备注
11 pages (+15 pages for references and supplemental material, total 26 pages), 12 figures, a single table