针对对抗样本的统一梯度正则化族

对抗样本是通过对输入样本施加不可察觉的扰动而生成的增广数据点。它们近期在机器学习与数据挖掘社区引起了广泛关注。由于难以与真实样本区分，此类对抗样本能够改变许多最佳学习模型（包括SOTA深度学习模型）的预测。近期已有尝试构建考虑对抗样本的鲁棒模型。然而，这些方法要么会导致性能下降，要么缺乏数学动机。在本文中，我们提出了一个统一框架来构建抵御对抗样本的鲁棒机器学习模型。更具体地，利用该统一框架，我们开发了一族梯度正则化方法，有效惩罚损失函数关于输入的梯度。我们提出的框架具有吸引力，因为它提供了处理对抗样本的统一视角。它将另一种近期提出的基于扰动的方法作为一个特例纳入其中。此外，我们展示了一些揭示这些扰动中语义含义的视觉效果，从而支持了我们的正则化方法，并为对抗样本的泛化性提供了另一种解释。通过将该技术应用于Maxout网络，我们进行了一系列实验，并在两个基准数据集上取得了令人鼓舞的结果。具体而言，我们在MNIST数据上（不使用数据增广）获得了最佳准确率，并在CIFAR-10数据上取得了有竞争力的性能。