形状至关重要：理解噪声协方差的隐式偏置
机器学习
2020-06-19 v2 机器学习
摘要
随机梯度下降（SGD）中的噪声为训练过参数化模型提供了关键的隐式正则化效应。先前的理论工作主要关注球对称高斯噪声，而实证研究展示了由小批量或标签扰动引起的参数依赖噪声比高斯噪声有效得多的现象。本文在 Vaskevicius 等人和 Woodworth 等人提出的二次参数化模型上从理论上刻画了该现象。我们表明，在过参数化设定下，带标签噪声的 SGD 能以任意初始化恢复稀疏真实值，而带高斯噪声的 SGD 或梯度下降会过拟合到具有大范数的稠密解。我们的分析揭示，参数依赖噪声引入了朝向具有更小噪声方差的局部极小值的偏置，而球对称高斯噪声则不会。我们项目的代码已公开可用。
引用
@article{arxiv.2006.08680,
title = {Shape Matters: Understanding the Implicit Bias of the Noise Covariance},
author = {Jeff Z. HaoChen and Colin Wei and Jason D. Lee and Tengyu Ma},
journal= {arXiv preprint arXiv:2006.08680},
year = {2020}
}