SGD 可学习网络的共轭核函数类

Amit Daniely

SGD 可学习网络的共轭核函数类

机器学习 2017-05-23 v2 数据结构与算法机器学习

作者: Amit Daniely

摘要

我们证明，标准的随机梯度下降（SGD）算法保证能在多项式时间内学习到一个函数，该函数可与 Daniely、Frostig 和 Singer 所定义的网络共轭核空间中的最优函数相媲美。这一结果适用于来自丰富架构族的对数深度网络。据我们所知，这是针对深度超过两层的网络，标准神经网络学习算法所获得的第一个多项式时间保证。作为推论，对于深度在 $2$ 到 $\log(n)$ 之间的任意神经网络，SGD 保证能在多项式时间内学习到系数有多项式界的常数次多项式。同样，在足够大的网络上，SGD 可以学习任意连续函数（并非在多项式时间内），这补充了经典的表达能力结果。

关键词

stochastic gradient descent conjugate kernel neural network learning polynomial-time guarantee expressivity

引用

@article{arxiv.1702.08503,
  title  = {SGD Learns the Conjugate Kernel Class of the Network},
  author = {Amit Daniely},
  journal= {arXiv preprint arXiv:1702.08503},
  year   = {2017}
}

SGD 可学习网络的共轭核函数类

摘要

关键词

引用

相关论文