浅层神经网络的近极小过参数化
机器学习
2019-10-30 v2 机器学习
摘要
近期一系列工作表明，过参数化神经网络可以完美拟合训练数据，否则这往往是一个难以处理的非凸优化问题。对于（全连接）浅层网络，在最佳情况下，现有理论需要相对于训练样本数量的二次过参数化。本文证明，使用（随机）梯度下降的一个简单变体，线性过参数化即足以拟合训练数据。关键在于，与若干相关工作不同，本文所考虑的训练并不局限于[1, 2]中所警示的懒惰 regime。除浅层网络外，本文为过参数化所发展的框架可应用于多种学习问题。
引用
@article{arxiv.1910.03948,
title = {Nearly Minimal Over-Parametrization of Shallow Neural Networks},
author = {Armin Eftekhari and ChaeHwan Song and Volkan Cevher},
journal= {arXiv preprint arXiv:1910.03948},
year = {2019}
}
备注
This paper is submitted without consent of the co-authors