权重有界神经网络的鲁棒性定律

深度神经网络对对抗扰动的鲁棒性是一个紧迫的问题，近期研究发现此类漏洞具有普遍性。刻画神经网络模型鲁棒性的一种方法是通过其 Lipschitz 常数，它构成了一个鲁棒性证书。一个自然的问题是，对于固定的模型类（如神经网络）和大小为 $n$ 的数据集，在所有拟合该数据集的模型中可实现的最小 Lipschitz 常数是多少？最近，(Bubeck et al., 2020) 猜想，当使用具有 $k$ 个神经元的双层网络拟合通用数据集时，最小 Lipschitz 常数为 $\Omega(\sqrt{\frac{n}{k}})$。这意味着需要一个神经元对应一个数据点才能鲁棒地拟合数据。本工作中，我们推导了任意具有有界 Rademacher 复杂度的模型类的 Lipschitz 常数下界。我们的结果在权重有界假设下与 (Bubeck et al., 2020) 对双层网络的猜想一致。然而，由于我们结果的普适性，我们也推导了多层神经网络的界，发现需要 $\log n$ 个常数大小层才能鲁棒地拟合数据。因此，我们的工作建立了权重有界神经网络的鲁棒性定律，并为深度学习中过参数化的必要性提供了形式化证据。