前馈神经网络的深度威力
机器学习
2016-05-10 v4 神经与进化计算
机器学习
摘要
我们证明在 上存在一个简单的（近似径向的）函数，可由一个小的 3 层前馈神经网络表达，但不能被任何 2 层网络以超过某恒定精度近似，除非其宽度在维度上是指数级的。该结果对几乎所有已知激活函数成立，包括修正线性单元（rectified linear units）、sigmoids 与 thresholds，并正式表明：对于标准前馈神经网络，深度——即便仅增加 1——可以比宽度指数级更有价值。此外，与布尔函数背景下的相关结果相比，我们的结果需要更少的假设，且证明技巧和构造非常不同。
引用
@article{arxiv.1512.03965,
title = {The Power of Depth for Feedforward Neural Networks},
author = {Ronen Eldan and Ohad Shamir},
journal= {arXiv preprint arXiv:1512.03965},
year = {2016}
}
备注
Accepted to COLT 2016; Fixed a bug in the proof of claim 2 (now requiring the mild assumption that the activations are polynomially bounded); Other minor revisions