通过局部线性化实现稳定高效的对抗训练
机器学习
2022-10-12 v1 计算机视觉与模式识别
摘要
近期，单步对抗训练因其展现出的鲁棒性与高效性而备受关注。然而，观察到了一种被称为“灾难性过拟合”的现象，这在单步防御方法中普遍存在，可能会阻碍 FGSM 对抗训练的应用。为了解决这一问题，我们提出了一种新方法：稳定高效的对抗训练 (SEAT)，该方法通过利用局部特性来缓解灾难性过拟合，这些局部特性能够区分鲁棒模型与灾难性过拟合模型。所提出的 SEAT 具有充分的理论依据，可以证明最小化 SEAT 损失有利于平滑经验风险，从而带来鲁棒性。实验结果表明，所提出的方法成功缓解了灾难性过拟合，在高效防御方法中取得了优越的性能。我们的单步方法在 扰动半径为 的 CIFAR-10 上，面对强 PGD-50 攻击时可达 51% 的鲁棒准确率，仅以 3% 的计算成本便匹配了 10 步迭代对抗训练的性能。
引用
@article{arxiv.2210.05373,
title = {Stable and Efficient Adversarial Training through Local Linearization},
author = {Zhuorong Li and Daiwei Yu},
journal= {arXiv preprint arXiv:2210.05373},
year = {2022}
}