二次数量级的节点足以通过梯度下降学习数据集
最优化与控制
2019-11-14 v1 机器学习
统计理论
统计理论
摘要
我们证明，若激活函数满足某些温和条件，且采用该激活函数的双层全连接神经网络中神经元数量超过某一阈值，则对二次损失函数进行梯度下降可在线性时间内为全局极小找到输入层的最优权重。该阈值相较先前所得数值有所改进。我们推测，由本工作所用方法无法进一步改进该界。
引用
@article{arxiv.1911.05402,
title = {Quadratic number of nodes is sufficient to learn a dataset via gradient descent},
author = {Biswarup Das and Eugene. A. Golikov},
journal= {arXiv preprint arXiv:1911.05402},
year = {2019}
}
备注
Machine learning using neural networks, gradient descent, optimization, overparametrization regime