深度学习中梯度方差的研究
机器学习
2020-07-10 v1 机器学习
摘要
梯度噪声对深度模型训练的影响已被广泛承认，但尚未得到充分理解。在此背景下，我们研究了训练过程中梯度的分布。我们引入了一种梯度聚类方法，以通过分层抽样来最小化平均小批量梯度的方差。我们证明了如果从梯度空间中的加权聚类中采样元素，则平均小批量梯度的方差会被最小化。我们在常见的深度学习基准上测量了梯度方差，并观察到与普遍假设相反，梯度方差在训练过程中会增加，且较小的学习率与较高的方差同时出现。此外，我们引入了归一化梯度方差作为一种统计量，与梯度方差相比，它与收敛速度的相关性更好。
引用
@article{arxiv.2007.04532,
title = {A Study of Gradient Variance in Deep Learning},
author = {Fartash Faghri and David Duvenaud and David J. Fleet and Jimmy Ba},
journal= {arXiv preprint arXiv:2007.04532},
year = {2020}
}