含噪半空间学习的对抗训练的可证明鲁棒性

我们分析了在存在不可知标签噪声情形下，用于学习对抗鲁棒半空间的对抗训练的性质。记 $\mathsf{OPT}_{p,r}$ 为对半径为 $r$ 的 $\ell_{p}$ 球扰动具有鲁棒性的半空间所达到的最佳鲁棒分类误差，我们证明在标准二分类交叉熵损失上的对抗训练可得到对抗鲁棒半空间，其（鲁棒）分类误差上限对于 $p=2$ 为 $\tilde O(\sqrt{\mathsf{OPT}_{2,r}})$，对于 $p=\infty$ 为 \tilde O(d^{1/4} \sqrt{\mathsf{OPT}_{\infty, r}} + d^{1/2} \mathsf{OPT}_{\infty,r}})。我们的结果对满足反集中性质的分布成立，其中包括对数凹各向同性分布等。我们进一步表明，若改用非凸 sigmoid 损失，对抗训练所得半空间的鲁棒分类误差在 $p=2$ 时改进为 $O(\mathsf{OPT}_{2,r})$，在 $p=\infty$ 时为 $O(d^{1/4}\mathsf{OPT}_{\infty, r})$。据我们所知，这是首项表明对抗训练在噪声存在下可证明产生鲁棒分类器的工作。