神经网络中深度的益处

对于任意正整数 $k$，存在具有 $\Theta(k^3)$ 层、每层 $\Theta(1)$ 个节点和 $\Theta(1)$ 个不同参数的神经网络，它们不能被具有 $\mathcal{O}(k)$ 层的网络近似，除非这些网络呈指数级大——它们必须拥有 $\Omega(2^k)$ 个节点。这一结果在此处针对一类称为“半代数门”的节点得到证明，该类包括ReLU、最大值、指示函数和分段多项式函数的常见选择，从而确立了深度不仅相对于带有ReLU门的标准网络，而且相对于带有ReLU和最大化门的卷积网络、和积网络以及提升决策树（在最后一种情况下有更强的分离：需要 $\Omega(2^{k^3})$ 个总树节点）的益处。