一维 ReLU 深度神经网络的复杂度

我们通过线性区域的视角研究一维（1D）ReLU 深度神经网络的表达性。在 He 缩放且带非零偏置的随机初始化的全连接 1D 神经网络中，证明其在无限宽度极限下的期望线性区域数量为 $\sum_{i = 1}^L n_i + \mathop{{o}}\left(\sum_{i = 1}^L{n_i}\right) + 1$，其中 $n_\ell$ 表示第 $\ell$ 隐藏层的神经元数。我们还提出一种函数自适应的稀疏性概念，比较网络使用的期望区域数与在固定容差内逼近目标所需的最小区域数。