关于可如SGD般泛化的含噪梯度下降
机器学习
2020-06-22 v3 机器学习
摘要
SGD的梯度噪声被认为在深度学习所观测到的强泛化能力中扮演核心角色。尽管以往研究确认梯度噪声的幅值与协方差结构对正则化至关重要，但噪声分布的类是否重要仍不清楚。在本工作中，我们给出否定性结果，表明不同于SGD噪声的类的噪声也能有效正则化梯度下降。我们的发现基于关于SGD噪声结构的新观测：它是梯度矩阵与由小批量采样过程产生的采样噪声之乘积。此外，采样噪声统一了属于高斯类的两类梯度正则化噪声：一类使用(缩放)Fisher作为协方差，另一类使用SGD的梯度协方差作为协方差。最后，得益于噪声类选择的灵活性，我们提出一种执行泛化良好的含噪梯度下降的算法，其变体甚至有益于大批量SGD训练且不损害泛化。
引用
@article{arxiv.1906.07405,
title = {On the Noisy Gradient Descent that Generalizes as SGD},
author = {Jingfeng Wu and Wenqing Hu and Haoyi Xiong and Jun Huan and Vladimir Braverman and Zhanxing Zhu},
journal= {arXiv preprint arXiv:1906.07405},
year = {2020}
}
备注
ICML 2020 near camera ready version