梯度下降动力学下两层神经网络与随机特征模型优化及泛化性质的比较分析
机器学习
2020-02-27 v2 最优化与控制
机器学习
摘要
本文对两层神经网络模型在两层参数均更新的训练情形下的梯度下降动力学给出了较为全面的分析。考虑了一般的初始化方案以及网络宽度和训练数据规模的一般区间。在过参数化区间中,表明无论标签质量如何,梯度下降动力学都能以指数级速度实现零训练损失。此外,证明了在整个训练过程中,神经网络模型所表示的函数一致接近于某一核方法的函数。对于网络宽度和训练数据规模的一般取值,针对相应再生核希尔伯特空间中的目标函数建立了泛化误差的尖锐估计。
引用
@article{arxiv.1904.04326,
title = {A Comparative Analysis of the Optimization and Generalization Property of Two-layer Neural Network and Random Feature Models Under Gradient Descent Dynamics},
author = {Weinan E and Chao Ma and Lei Wu},
journal= {arXiv preprint arXiv:1904.04326},
year = {2020}
}
备注
Published version