MixTrain：可验证鲁棒神经网络的可扩展训练
机器学习
2018-12-04 v2 密码学与安全
机器学习
摘要
使神经网络对对抗性输入具有鲁棒性已导致新防御与攻击之间的军备竞赛。最有前景的防御方法——对抗鲁棒训练与可验证鲁棒训练——存在限制其实际应用的缺陷。对抗鲁棒训练仅使网络对一类攻击者鲁棒，我们通过基于区间梯度开发一种新的攻击揭示了此类弱点。相比之下，可验证鲁棒训练提供针对任意 L-p 范数有界攻击者的保护，但比对抗鲁棒训练产生数量级更高的计算与内存开销。我们提出两种新技术，随机鲁棒近似与动态混合训练，以在不牺牲已验证鲁棒性的前提下大幅提升可验证鲁棒训练的效率。我们利用两个关键见解：(1) 并非针对整个训练集，对随机子采样训练数据点的可靠过近似足以高效引导鲁棒训练过程；(2) 我们观察到测试准确率与可验证鲁棒性在某些训练轮次后常相互冲突。因此，我们使用动态损失函数为每个轮次自适应地平衡二者。我们将这些技术设计实现为 MixTrain 的一部分，并在三个流行数据集（包括 MNIST、CIFAR 和 ImageNet-200）上训练的六个网络上评估了它。我们的评估表明，MixTrain 在针对 范数有界攻击者时可达 的已验证鲁棒准确率，同时训练时间分别比最先进的可验证鲁棒训练与对抗鲁棒训练方案少 倍和 倍。此外，MixTrain 可轻松扩展到更大网络（如基于 ImageNet-200 训练的网络），显著优于现有可验证鲁棒训练方法。
引用
@article{arxiv.1811.02625,
title = {MixTrain: Scalable Training of Verifiably Robust Neural Networks},
author = {Shiqi Wang and Yizheng Chen and Ahmed Abdou and Suman Jana},
journal= {arXiv preprint arXiv:1811.02625},
year = {2018}
}