提升 L-无穷范数距离网络的可认证鲁棒性

最近，Zhang 等人 (2021) 提出了一种基于 $\ell_\infty$-距离函数的新型神经网络架构，其构造天然具备可认证的 $\ell_\infty$ 鲁棒性。尽管设计新颖且具备理论基础，迄今为止该模型仅取得了与传统网络相当的性能。在本文中，我们做出以下两点贡献：$\mathrm{(i)}$ 我们证明了 $\ell_\infty$-距离网络在可认证鲁棒性上相比传统网络（在典型认证方法下）具有根本性优势；$\mathrm{(ii)}$ 通过改进的训练过程，我们能够显著提升 $\ell_\infty$-距离网络的可认证准确率。我们的训练方法大幅缓解了先前训练方案中出现的优化问题，特别是由一种称为 $\ell_p$-松弛的关键技巧所导致的意外的大 Lipschitz 常数。我们训练方法的核心是一个新颖的目标函数，该函数将缩放交叉熵损失与裁剪铰链损失以衰减混合系数相结合。实验表明，使用所提出的训练策略，$\ell_\infty$-距离网络在 CIFAR-10 ($\epsilon=8/255$) 上的可认证准确率可从 33.30% 显著提升至 40.06%，同时大幅优于该领域的其他方法。我们的结果清晰地展示了 $\ell_\infty$-距离网络在可认证鲁棒性方面的有效性与潜力。代码已发布于 https://github.com/zbh2047/L_inf-dist-net-v2。