MMA 训练：通过对抗训练直接最大化输入空间间隔

Gavin Weiguang Ding; Yash Sharma; Kry Yik Chau Lui; Ruitong Huang

MMA 训练：通过对抗训练直接最大化输入空间间隔

机器学习 2020-03-06 v4 神经与进化计算机器学习

作者: Gavin Weiguang Ding , Yash Sharma , Kry Yik Chau Lui , Ruitong Huang

摘要

我们从间隔最大化的视角研究神经网络的对抗鲁棒性，其中间隔定义为输入到分类器决策边界的距离。我们的研究表明，最大化间隔可通过在“最短成功扰动”处的决策边界上最小化对抗损失来实现，揭示了对抗损失与间隔之间的紧密联系。我们提出最大间隔对抗（Max-Margin Adversarial, MMA）训练，直接最大化间隔以实现对抗鲁棒性。与采用固定 $\epsilon$ 的对抗训练不同，MMA 的改进在于能够为每个数据点自适应地选择作为间隔的“正确” $\epsilon$ 。此外，我们从间隔最大化的视角严格分析了对抗训练，并给出了对抗训练的另一种解释：最大化间隔的下界或上界。我们的实验在经验上证实了我们的理论，并证明了 MMA 训练在 MNIST 和 CIFAR10 数据集上关于 $\ell_\infty$ 和 $\ell_2$ 鲁棒性的有效性。代码与模型可在 https://github.com/BorealisAI/mma_training 获取。

关键词

对抗鲁棒性间隔最大化最大间隔对抗训练决策边界对抗损失 MNIST CIFAR10

引用

@article{arxiv.1812.02637,
  title  = {MMA Training: Direct Input Space Margin Maximization through Adversarial Training},
  author = {Gavin Weiguang Ding and Yash Sharma and Kry Yik Chau Lui and Ruitong Huang},
  journal= {arXiv preprint arXiv:1812.02637},
  year   = {2020}
}

备注

Published at the Eighth International Conference on Learning Representations (ICLR 2020), https://openreview.net/forum?id=HkeryxBtPB

MMA 训练：通过对抗训练直接最大化输入空间间隔

摘要

关键词

引用

备注

相关论文