为何深度神经网络适用于函数逼近？

近年来，人们对理解为何深度神经网络优于浅层网络产生了浓厚兴趣。我们证明，对于一大类分段光滑函数，在给定的函数逼近精度下，浅层网络逼近该函数所需的神经元数量呈指数级地大于深度网络所需的相应神经元数量。首先，我们考虑有界区间上的单变量函数，并要求神经网络在整个区间上一致地达到 $\varepsilon$ 的逼近误差。我们证明，浅层网络（即深度不依赖于 $\varepsilon$ 的网络）需要 $\Omega(\text{poly}(1/\varepsilon))$ 个神经元，而深度网络（即深度随 $1/\varepsilon$ 增长的网络）需要 $\mathcal{O}(\text{polylog}(1/\varepsilon))$ 个神经元。随后，我们将这些结果推广到某些重要的多变量函数类。我们的结果针对使用整流线性单元（ReLU）和二值阶跃单元这两种最流行的激活函数组合的神经网络推导得出。我们的分析基于一个简单的观察：两个比特的乘法可以用一个 ReLU 表示。