改进确定性 l2 鲁棒性的技术

在 $l_{2}$ 范数下以严格 1-Lipschitz 约束训练卷积神经网络（CNNs）有助于对抗鲁棒性、可解释梯度与稳定训练。1-Lipschitz CNNs 通常通过强制每一层具有正交 Jacobian 矩阵（对所有输入）来设计，以防止反向传播期间梯度消失。然而，其性能常显著落后于强制 Lipschitz 约束的启发式方法，后者所得 CNN 并非可证明地 1-Lipschitz。在本工作中，我们通过引入以下方法缩小此差距：（a）一种以 1-隐藏层 MLP 替换最后线性层来认证 1-Lipschitz CNNs 鲁棒性的流程，显著提升其在标准与可证明鲁棒准确率上的表现；（b）一种将 Skew Orthogonal Convolution（SOC）层每轮训练时间显著减少的方法（深层网络减少 >30%）；（c）一类利用 $l_{2}$ 距离对流形为 1-Lipschitz 这一数学性质的池化层。利用这些方法，我们在 CIFAR-10 上显著推进了标准与可证明鲁棒准确率的最优水平（各网络上分别提升 +1.79% 与 +3.82%），在 CIFAR-100 上类似（+3.78% 与 +4.75%）。代码见 \url{https://github.com/singlasahil14/improved_l2_robustness}。