基于数据剪枝的高效对抗训练
机器学习
2022-07-05 v1
摘要
神经网络易受对抗样本——导致模型失效的微小输入扰动——的影响。对抗训练是遏制对抗样本的解决方案之一：模型在训练期间暴露于攻击并学会对其具有鲁棒性。然而，该过程目前代价高昂——生成对抗样本并训练模型耗时长久，更糟的是，它偶尔会失败。本文中，我们展示了数据剪枝——一种通过数据子采样提升对抗训练效率的方法。我们经实验表明，数据剪枝可改善对抗训练的收敛性与可靠性，尽管伴随不同程度的效用退化。例如，我们观察到对 CIFAR10 采用随机子采样丢弃 40% 数据，针对最强攻击者的对抗精度损失 8%，而仅使用 20% 数据时损失 14% 对抗精度并将运行时间缩减为原来的 1/3。有趣的是，我们发现某些设定下数据剪枝可兼得二者之利——同时提升对抗精度与训练时间。
引用
@article{arxiv.2207.00694,
title = {Efficient Adversarial Training With Data Pruning},
author = {Maximilian Kaufmann and Yiren Zhao and Ilia Shumailov and Robert Mullins and Nicolas Papernot},
journal= {arXiv preprint arXiv:2207.00694},
year = {2022}
}