ReLU 神经网络的隐式正则化如何刻画所学函数——第一部分：随机首层的两层一维情形
机器学习
2023-10-05 v4 数值分析
数值分析
机器学习
摘要
在本文中，我们考虑一维（浅层）ReLU 神经网络，其中权重随机选取，仅训练终端层。首先，我们从数学上证明，对于此类网络，L2 正则化回归在 function space 中对应于对估计函数的二阶导数进行正则化，且适用于相当一般的损失泛函。对于最小二乘回归，我们证明当隐藏节点数趋于无穷时，训练所得网络收敛于训练数据的光滑样条插值。此外，我们推导了早停梯度下降（无需对权重进行任何显式正则化）与光滑样条回归之间的新对应关系。
引用
@article{arxiv.1911.02903,
title = {How Implicit Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part I: the 1-D Case of Two Layers with Random First Layer},
author = {Jakob Heiss and Josef Teichmann and Hanna Wutte},
journal= {arXiv preprint arXiv:1911.02903},
year = {2023}
}
备注
adding Appendix C for more intuition, fixing typos, improving formulations, (moving end of Section 3.1 into Appendix B)