在 CIFAR-10 与 CIFAR-100 上改进的确定性 l2 鲁棒性

在 $l_{2}$ 范数下以严格 Lipschitz 约束训练卷积神经网络（CNNs）有助于可证明的对抗鲁棒性、可解释的梯度以及稳定的训练。虽然可以通过对每一层施加 $1$-Lipschitz 约束来设计 $1$-Lipschitz CNN，但训练此类网络需要每一层具有正交 Jacobian 矩阵（对所有输入）以防止反向传播期间梯度消失。具有此性质的层被称为梯度范数保持（Gradient Norm Preserving, GNP）层。在本工作中，我们引入一种通过放宽网络最后线性层的正交化来认证 $1$-Lipschitz CNN 鲁棒性的流程，该流程显著推进了 CIFAR-100 上标准准确率与可证明鲁棒准确率的最优水平（分别提升 $4.80\%$ 和 $4.71\%$）。我们进一步通过引入（i）一种称为 Householder 激活函数的新型梯度范数保持激活函数（其包含每一个 $\mathrm{GroupSort}$ 激活）以及（ii）一种认证正则化来增强其鲁棒性。在 CIFAR-10 上，我们以仅微小标准准确率下降（$-0.29\%$）实现了相较先前工作的可证明鲁棒准确率的显著提升（$5.81\%$）。用于复现论文中所有实验的代码可在 \url{https://github.com/singlasahil14/SOC} 获取。