我们需要多少神经元？对梯度下降训练的浅层网络的精细化分析
机器学习
2023-09-18 v1 机器学习
摘要
我们分析了在神经正切核（NTK）机制下、由梯度下降（GD）训练的双层神经网络的泛化性质。对于早停的 GD，我们推导出了在再生核希尔伯特空间非参数回归框架下已知为极小极大最优的快收敛速率。在此过程中，我们精确追踪了泛化所需的隐藏神经元数量，并改进了已有结果。我们进一步表明，训练过程中的权重保持在初始化附近的邻域内，该邻域半径依赖于结构假设，如回归函数的光滑程度以及与 NTK 相关的积分算子的特征值衰减。
引用
@article{arxiv.2309.08044,
title = {How many Neurons do we need? A refined Analysis for Shallow Networks trained with Gradient Descent},
author = {Mike Nguyen and Nicole Mücke},
journal= {arXiv preprint arXiv:2309.08044},
year = {2023}
}