面向 ReLU 网络认证鲁棒性的快速计算

验证一般整流线性单元（ReLU）网络的鲁棒性性质是一个 NP 完全问题 [Katz, Barrett, Dill, Julian and Kochenderfer CAV17]。尽管寻找精确的最小对抗扰动是困难的，但给出一个认证的最小扰动下界是可能的。当前可用的计算此类界的方法要么耗时，要么给出的界质量过低、过于宽松而无用。在本文中，我们利用 ReLU 网络的特殊结构，提供了两种计算高效的算法 Fast-Lin 和 Fast-Lip，能够通过用适当的线性函数界定 ReLU 单元（Fast-Lin）或通过界定局部 Lipschitz 常数（Fast-Lip）来认证最小扰动的非平凡下界。实验表明：(1) 我们提出的方法在小型 MNIST 网络中给出的界接近（差距为 2-3 倍）Reluplex 找到的精确最小扰动，而我们的算法快 10,000 倍以上；(2) 与基于求解线性规划问题的方法相比，我们的方法在较大网络中给出相似质量的界（差距在 35% 以内，通常约为 10%；有时我们的界甚至更好），而我们的算法快 33-14,000 倍；(3) 我们的方法能够在单个 CPU 核心上于数十秒内求解多达 7 层、超过 10,000 个神经元的大型 MNIST 和 CIFAR 网络。此外，我们表明，事实上，除非 $\mathsf{NP}$=$\mathsf{P}$，否则不存在多项式时间算法能以 $0.99\ln n$ 的近似比近似地找到 ReLU 网络的最小 $\ell_1$ 对抗扰动，其中 $n$ 是网络中的神经元数量。