论神经网络的表达能力

1989 年 George Cybenko 在一篇里程碑论文中证明，宽浅层神经网络可以逼近紧集上的任意连续函数。这一万能逼近定理引发了大量后续研究。Shen、Yang 和 Zhang 确定了 ReLU 网络在 $L^p$-范数（$p \in [1,\infty)$）下的最优逼近速率。Kidger 和 Lyons 证明了深度窄 ReLU 网络的万能逼近定理。Telgarsky 给出了一个深度窄 ReLU 网络例子，除非具有指数级数量的神经元，否则无法被宽浅层 ReLU 网络逼近。然而，仍有更多问题尚未解决。是否存在无法被深度窄 ReLU 网络良好逼近的宽浅层 ReLU 网络？万能逼近定理对于诸如 Sobolev 范数 $W^{1,1}$ 的其他范数是否仍成立？这些结果对于 ReLU 以外的激活函数是否成立？我们将用一个由两种表达能力构成的框架回答所有这些问题及更多问题。第一种为人熟知，计算 ReLU 网络计算函数的最大线性区域数。我们将改进该表达能力的最佳已知界。第二种则是全新的。