分段线性神经网络的近乎紧致的 VC 维度与伪维度界限

我们证明了具有 ReLU 激活函数的深度神经网络 VC 维度的新上下界。这些界限在几乎整个参数范围内都是紧致的。设 $W$ 为权重数，$L$ 为层数，我们证明 VC 维度为 $O(W L \log(W))$，并给出了 VC 维度为 $\Omega( W L \log(W/L) )$ 的示例。这改进了先前已知的上下界。就非线性单元的数量 $U$ 而言，我们证明了 VC 维度的紧致界限 $\Theta(W U)$。所有这些界限都推广到了任意分段线性激活函数，并且同样适用于这些函数类的伪维度。结合先前的研究结果，这揭示了具有不同非线性特性的网络的 VC 维度对深度的有趣依赖关系：分段常数无依赖，分段线性为线性依赖，一般分段多项式不超过二次依赖。