高斯噪声注入中的非对称重尾与隐式偏置
机器学习
2021-06-14 v2 机器学习
摘要
高斯噪声注入（GNI）是一类简单且广泛使用的神经网络训练正则化方法，其在优化算法的每次迭代中向网络激活注入加性或乘性高斯噪声，优化算法通常选为随机梯度下降（SGD）。本文关注 GNI 的所谓“隐式效应”，即注入噪声对 SGD 动力学的影响。我们表明该效应在 SGD 梯度更新上诱导出一种非对称重尾噪声。为建模这一修正后的动力学，我们首先发展了一个由一般非对称重尾噪声族驱动的类朗之万随机微分方程。利用该模型，我们随后形式化证明 GNI 诱导出一种“隐式偏置”，其随尾部的重程度与非对称水平而变化。我们的实证结果证实，用 GNI 训练的不同类型神经网络均能被所提动力学很好地建模，且这些注入的隐式效应诱导出的偏置会降低网络性能。
引用
@article{arxiv.2102.07006,
title = {Asymmetric Heavy Tails and Implicit Bias in Gaussian Noise Injections},
author = {Alexander Camuto and Xiaoyu Wang and Lingjiong Zhu and Chris Holmes and Mert Gürbüzbalaban and Umut Şimşekli},
journal= {arXiv preprint arXiv:2102.07006},
year = {2021}
}
备注
Main paper of 12 pages, followed by appendix