关于两层神经网络的鲁棒性定律

我们开启了对神经网络规模与其鲁棒性（以 Lipschitz 常数度量）之间固有权衡的研究。我们提出一个精确猜想：对于任意 Lipschitz 激活函数和大多数数据集，任何具有 $k$ 个神经元且完美拟合数据的两层神经网络，其 Lipschitz 常数必然（至多差一个常数因子）大于 $\sqrt{n/k}$，其中 $n$ 为数据点数量。特别地，该猜想意味着过参数化对鲁棒性是必要的，因为这意味着需要大约每个数据点一个神经元才能保证 $O(1)$-Lipschitz 网络，而仅对 $d$ 维数据进行拟合只需每 $d$ 个数据点一个神经元。当用基于权重矩阵谱范数的上界替代 Lipschitz 常数时，我们证明了该猜想的一个较弱版本。我们还证明了高维情形 $n \approx d$（我们也称之为欠完备情形，因为此处仅 $k \leq d$ 相关）下的猜想。最后，对于次数 $p$ 的多项式激活函数且 $n \approx d^p$ 时，我们证明了该猜想。我们以支持该猜想的实验证据补充了这些发现。