通过标签平滑实现对抗鲁棒性
机器学习
2019-10-16 v2 人工智能
机器学习
摘要
我们研究标签平滑（Label-Smoothing）作为提升监督深度学习模型对抗鲁棒性的一种手段。在建立了一个完整且统一的框架后，我们对该通用方法提出了几种变体：对抗标签平滑、玻尔兹曼标签平滑和次优标签平滑方法，并解释了如何构建自定义的标签平滑方法。在多种数据集（MNIST、CIFAR10、SVHN）和模型（线性模型、MLP、LeNet、ResNet）上，我们展示了标签平滑通常通过更好地考虑数据集几何结构，来提高针对各种攻击（FGSM、BIM、DeepFool、Carlini-Wagner）的对抗鲁棒性。所提出的标签平滑方法具有两个主要优点：它们可以作为修改后的交叉熵损失来实现，因此不需要对网络架构进行任何修改，也不会导致训练时间增加，并且它们同时提高了标准准确率和对抗准确率。
引用
@article{arxiv.1906.11567,
title = {Adversarial Robustness via Label-Smoothing},
author = {Morgane Goibert and Elvis Dohmatob},
journal= {arXiv preprint arXiv:1906.11567},
year = {2019}
}