对抗鲁棒线性分类中的良性过拟合

“良性过拟合”指分类器记忆含噪训练数据却仍取得良好泛化性能的现象，已在机器学习界引起广泛关注。为解释这一惊人现象，一系列工作已在过参数化线性回归、分类与核方法中给出理论依据。然而，在对抗样本（即带有微小且刻意扰动以欺骗分类器的样本）存在时，良性过拟合是否仍会发生尚不清楚。本文表明，良性过拟合确实发生于对抗训练（一种防御对抗样本的原则性方法）中。具体而言，我们证明了在 $\ell_p$ 对抗扰动下，对 sub-Gaussian 数据混合体进行对抗训练的线性分类器的风险界。我们的结果表明，在中等扰动下，尽管过拟合了含噪训练数据，对抗训练的线性分类器仍可达到近最优的标准风险与对抗风险。数值实验验证了我们的理论发现。