CNN 层的大范数不会损害对抗鲁棒性

由于卷积神经网络（CNNs）的 Lipschitz 性质被广泛认为与对抗鲁棒性相关，我们从理论上刻画了二维多通道卷积层的 $\ell_1$ 范数和 $\ell_\infty$ 范数，并提供了计算精确 $\ell_1$ 范数和 $\ell_\infty$ 范数的高效方法。基于我们的定理，我们提出了一种称为范数衰减（norm decay）的新型正则化方法，它能有效减小卷积层和全连接层的范数。实验表明，包括范数衰减、权重衰减和奇异值裁剪在内的范数正则化方法能够改善 CNNs 的泛化能力，但会轻微损害对抗鲁棒性。观察到这一反常现象后，我们计算了用三种不同对抗训练框架训练的 CNNs 中各层的范数，并惊讶地发现对抗鲁棒 CNNs 的层范数与其非对抗鲁棒对应模型相当甚至更大。此外，我们证明在温和假设下，可以使用神经网络获得对抗鲁棒分类器，且对抗鲁棒神经网络的 Lipschitz 常数可以任意大。因此，在 CNN 层上强制小范数对于实现对抗鲁棒性可能既非必要也非有效。代码见 https://github.com/youweiliang/norm_robustness。