神经网络的表达能力：从宽度视角

神经网络的表达能力对于理解深度学习至关重要。现有工作大多从网络深度的角度考虑这一问题。本文研究宽度如何影响神经网络的表达能力。经典结果表明，具有合适激活函数的有界深度（例如深度为2）网络是通用逼近器。我们证明了宽度有界ReLU网络的通用逼近定理：宽度为$(n+4)$的ReLU网络（其中$n$是输入维度）是通用逼近器。此外，除一个零测集外，所有函数都无法被宽度为$n$的ReLU网络逼近，这表现出一种相变。最近的一些工作通过证明深度效率展示了深度的优势，即存在一类深度网络，其大小不超过指数界的浅层网络无法实现。这里我们提出关于ReLU网络宽度效率的对偶问题：是否存在宽度网络，其大小不超过多项式界的窄网络无法实现？我们证明存在一类宽度网络，其深度不超过多项式界的窄网络无法实现。另一方面，我们通过大量实验表明，大小超过多项式界常数倍的窄网络可以高精度地逼近宽而浅的网络。我们的结果更全面地证明，对于ReLU网络的表达能力，深度比宽度更有效。