先验引导的对抗初始化用于快速对抗训练
计算机视觉与模式识别
2022-07-20 v1
摘要
快速对抗训练（FAT）有效提升了标准对抗训练（SAT）的效率。然而，最初的 FAT 遭遇灾难性过拟合，即针对对抗攻击的鲁棒准确率突然且剧烈地下降。尽管若干 FAT 变体不遗余力地防止过拟合，它们却牺牲了大量计算成本。在本文中，我们探究 SAT 与 FAT 训练过程的差异，并观察到 FAT 的对抗样本（AEs）的攻击成功率在训练后期逐渐变差，导致过拟合。这些 AEs 由带零或随机初始化的快速梯度符号法（FGSM）生成。基于该观察，我们提出一种先验引导的 FGSM 初始化方法，在考察若干初始化策略后避免过拟合，从而在整体训练过程中提升 AEs 的质量。该初始化通过利用历史生成的 AEs 形成，无需额外计算成本。我们进一步为所提初始化方法提供理论分析。我们还基于先验引导初始化提出一个简单而有效的正则化器，即当前生成的扰动不应偏离先验引导初始化过多。该正则化器采用历史和当前对抗扰动来引导模型学习。在四个数据集上的评估表明，所提方法能防止灾难性过拟合并优于最先进的 FAT 方法。代码发布于 https://github.com/jiaxiaojunQAQ/FGSM-PGI。
引用
@article{arxiv.2207.08859,
title = {Prior-Guided Adversarial Initialization for Fast Adversarial Training},
author = {Xiaojun Jia and Yong Zhang and Xingxing Wei and Baoyuan Wu and Ke Ma and Jue Wang and Xiaochun Cao},
journal= {arXiv preprint arXiv:2207.08859},
year = {2022}
}
备注
ECCV 2022