理解带修正线性单元的深度神经网络

在本文中，我们研究了可由带修正线性单元(ReLU)的深度神经网络(DNN)表示的函数族。我们给出一种算法，将具有一个隐藏层的ReLU DNN训练至*全局最优*，其运行时间关于数据规模是多项式的，但关于输入维度是指数的。此外，我们改进了用更浅的ReLU网络逼近ReLU深度网络函数时已知的大小下界（从指数提升至超指数）。我们的间隙定理对光滑参数化的“困难”函数族成立，这与文献中已知的可数离散族相反。我们间隙定理的一个示例推论如下：对每个自然数$k$，存在一个可由具有$k^2$个隐藏层和总大小$k^3$的ReLU DNN表示的函数，使得任何至多具有$k$个隐藏层的ReLU DNN将需要至少$\frac{1}{2}k^{k+1}-1$个总节点。最后，对于具有ReLU激活函数的$\mathbb{R}^n\to \mathbb{R}$ DNN族，我们给出了仿射片数量的新下界，该下界在网络架构的某些体制下大于先前的构造，且最显著的是我们的下界通过显式构造一个达到此缩放的*光滑参数化*函数族来证明。我们的构造利用了多面体理论中zonotopes的理论。