ReLU 神经网络的（隐式）正则化如何刻画所学函数——第二部分：随机首层两层网络的多维情形
机器学习
2023-03-22 v1 机器学习
摘要
随机神经网络（randomized NNs，仅优化末层权重）构成了一种强大的模型类，可减少训练神经网络模型的计算时间。同时，这些模型在各种回归和分类任务中出奇地泛化良好。在本文中，我们给出具有 ReLU 激活的随机浅层神经网络（RSNs）泛化行为的精确宏观刻画（即函数空间中的刻画）。我们展示 RSNs 对应于一种考虑无穷多方向的广义加性模型（GAM）型回归：无穷广义加性模型（IGAM）。IGAM 被形式化为函数空间中针对特定正则化泛函和相当一般损失的优化问题的解。本工作是先前工作的扩展，我们先前展示了在某些条件且输入为一维时，具有 ReLU 激活的宽 RSNs 如何表现得像样条回归。
引用
@article{arxiv.2303.11454,
title = {How (Implicit) Regularization of ReLU Neural Networks Characterizes the Learned Function -- Part II: the Multi-D Case of Two Layers with Random First Layer},
author = {Jakob Heiss and Josef Teichmann and Hanna Wutte},
journal= {arXiv preprint arXiv:2303.11454},
year = {2023}
}
备注
16 pages + appendix