S-SGD：带权重噪声注入的对称随机梯度下降以到达平坦极小值
机器学习
2020-09-08 v1 机器学习
摘要
随机梯度下降（SGD）方法是深度神经网络（DNN）训练中使用最广泛的方法。然而，该方法并不总是收敛到能够展现高泛化能力的损失曲面的平坦极小值。权重噪声注入已被广泛研究用于借助SGD方法寻找平坦极小值。我们设计了一种新的基于权重噪声注入的SGD方法，该方法向DNN权重添加对称噪声。带有对称噪声的训练在相邻两点处评估损失曲面，从而可以避免收敛到尖锐极小值。添加固定幅值的对称噪声以最小化训练不稳定性。所提方法与常规SGD方法以及先前用于图像分类的卷积神经网络的权重噪声注入算法进行了比较。特别地，展示了在大批量训练中的性能提升。无论批量大小和学习率调度算法如何，该方法均表现出优于常规SGD和权重噪声注入方法的性能。
引用
@article{arxiv.2009.02479,
title = {S-SGD: Symmetrical Stochastic Gradient Descent with Weight Noise Injection for Reaching Flat Minima},
author = {Wonyong Sung and Iksoo Choi and Jinhwan Park and Seokhyun Choi and Sungho Shin},
journal= {arXiv preprint arXiv:2009.02479},
year = {2020}
}