基于自适应步长的快速对抗训练
机器学习
2022-06-07 v1
摘要
尽管对抗训练及其变体已被证明是防御对抗攻击最有效的算法，但其极慢的训练过程使其难以扩展到像 ImageNet 这样的大型数据集。近期加速对抗训练的工作的关键思想是用单步攻击（如 FGSM）替代多步攻击（如 PGD）。然而，这些单步方法遭受灾难性过拟合，即针对 PGD 攻击的准确率在训练期间突然降至接近 0%，摧毁了网络的鲁棒性。在本文中，我们从训练样本的角度研究该现象。我们表明灾难性过拟合是依赖于样本的，拟合具有较大梯度范数的样本更可能引起灾难性过拟合。基于我们的发现，我们提出一种简单而有效的方法：自适应步长对抗训练（ATAS）。ATAS 学习一个与梯度范数成反比的样本级自适应步长。理论分析表明 ATAS 比通常采用的非自适应对应方法收敛更快。在实证上，ATAS 持续缓解灾难性过拟合，并在 CIFAR10、CIFAR100 和 ImageNet 上针对各种对抗预算评估时取得更高的鲁棒准确率。
引用
@article{arxiv.2206.02417,
title = {Fast Adversarial Training with Adaptive Step Size},
author = {Zhichao Huang and Yanbo Fan and Chen Liu and Weizhong Zhang and Yong Zhang and Mathieu Salzmann and Sabine Süsstrunk and Jue Wang},
journal= {arXiv preprint arXiv:2206.02417},
year = {2022}
}