基于鲁棒低秩表示的对抗鲁棒性

对抗鲁棒性衡量分类器在测试时面对施加于输入的难以察觉的扰动时的脆弱程度。在这项工作中，我们强调了真实数据（如图像）中常存在的自然低秩表示对于训练具有认证鲁棒性保证的神经网络的好处。我们的第一个贡献是针对以 $\ell_2$ 范数度量的扰动的认证鲁棒性。我们利用低秩数据表示，在 CIFAR-10 和 CIFAR-100 等标准基准数据集上，提供了优于最先进的基于随机平滑的方法的保证。我们的第二个贡献是针对更具挑战性的以 $\ell_\infty$ 范数度量的扰动的认证鲁棒性设置。我们通过实验证明，自然低秩表示具有固有的鲁棒性属性，可被利用来为这些表示中针对 $\ell_\infty$ 扰动的认证鲁棒性提供显著更好的保证。我们的 $\ell_\infty$ 鲁棒性证书依赖于一个涉及与该表示相关的 $\infty \to 2$ 矩阵算子范数的自然量，以将鲁棒性保证从 $\ell_2$ 扰动转换到 $\ell_\infty$ 扰动。我们认证保证的一个关键技术要素是一个基于乘权更新方法、具有可证明保证的快速算法，用于提供上述矩阵范数的上界。我们的算法保证在此问题上优于最先进水平，并且可能具有独立意义。