过参数化两层网络的岭回归收敛于岭波谱

Sho Sonoda; Isao Ishikawa; Masahiro Ikeda

过参数化两层网络的岭回归收敛于岭波谱

机器学习 2021-02-22 v2 机器学习

作者: Sho Sonoda , Isao Ishikawa , Masahiro Ikeda

摘要

在深度学习的理论研究中,局部极小值的刻画备受关注。在本研究中,我们考察了通过岭正则化经验平方风险最小化(RERM)训练的过参数化有限神经网络中参数的分布。我们发展了岭波变换(ridgelet transform)的新理论,这是一种类小波的积分变换,为涉及不仅ReLU而且一般激活函数的神经网络理论研究提供了强大且通用的框架。我们表明参数的分布收敛于岭波变换的谱。该结果为神经网络局部极小值的刻画提供了新见解,以及基于lazy regimes的归纳偏置理论的理论背景。我们通过有限模型的数值实验,确认了由SGD训练的参数分布与通过数值积分计算的岭波谱之间的视觉相似性。

关键词

岭回归过参数化网络岭波变换经验风险最小化局部极小值归纳偏置两层网络

引用

@article{arxiv.2007.03441,
  title  = {Ridge Regression with Over-Parametrized Two-Layer Networks Converge to Ridgelet Spectrum},
  author = {Sho Sonoda and Isao Ishikawa and Masahiro Ikeda},
  journal= {arXiv preprint arXiv:2007.03441},
  year   = {2021}
}

备注

published at AISTATS2021

过参数化两层网络的岭回归收敛于岭波谱

摘要

关键词

引用

备注

相关论文