论SGD的线性稳定性与神经网络的输入平滑性
机器学习
2021-11-30 v2
摘要
本文探究神经网络第一层中参数与输入数据的乘法结构，以建立损失函数关于参数的景观与模型函数关于输入数据的景观之间的联系。通过该联系，表明平坦极小正则化了模型函数的梯度，这解释了平坦极小良好泛化性能的原因。进而，我们超越平坦性并考虑梯度噪声的高阶矩，通过对SGD在全局极小附近的线性稳定性分析，表明随机梯度下降（SGD）倾向于对这些矩施加约束。结合乘法结构，我们识别出SGD的Sobolev正则化效应，即SGD对模型函数关于输入数据的Sobolev半范数进行正则化。最后，在 data 分布假设下，为SGD所得解提供了泛化误差与对抗鲁棒性的界。
引用
@article{arxiv.2105.13462,
title = {On Linear Stability of SGD and Input-Smoothness of Neural Networks},
author = {Chao Ma and Lexing Ying},
journal= {arXiv preprint arXiv:2105.13462},
year = {2021}
}