利用含 L-inf-dist 神经元的神经网络认证 L-infinity 鲁棒性

众所周知，标准神经网络即使具有较高分类准确率，也易受小 $\ell_\infty$-范数有界对抗扰动的影响。尽管已有诸多尝试，多数先前工作要么只能对针对特定攻击方法的防御提供经验性验证，要么只能在有限场景下给出模型鲁棒性的认证保证。本文寻求一种新方法来开发在理论上严谨、天然抵抗 $\ell_\infty$ 扰动的神经网络。具体而言，我们设计了一种以 $\ell_\infty$-距离作为基本运算的新型神经元（称之为 $\ell_\infty$-dist 神经元），并证明任何由 $\ell_\infty$-dist 神经元构建的神经网络（称为 $\ell_{\infty}$-dist 网络）天然是关于 $\ell_\infty$-范数的 1-Lipschitz 函数。这直接基于预测输出的间隔提供了认证鲁棒性的严格保证。我们进而证明此类网络具有足够的表达能力，可在鲁棒泛化保证下逼近任意 1-Lipschitz 函数。我们进一步提供了一套可大幅缓解优化困难的整体训练策略。实验结果表明，以 $\ell_{\infty}$-dist 网络为基本构件，我们在常用数据集上持续取得最先进性能：MNIST 上认证准确率 93.09%（$\epsilon=0.3$）、CIFAR-10 上 35.42%（$\epsilon=8/255$）、TinyImageNet 上 16.31%（$\epsilon=1/255$）。