利用先验引导知识改进快速对抗训练
机器学习
2023-04-07 v2 计算机视觉与模式识别
摘要
快速对抗训练(FAT)是一种高效的提升鲁棒性的方法。然而，原始FAT存在灾难性过拟合问题，即在少量训练轮次后鲁棒性急剧且突然下降。尽管已提出多种FAT变体来防止过拟合，但它们需要较高的训练成本。在本文中，我们通过比较标准对抗训练与FAT的训练过程，研究了对抗样本质量与灾难性过拟合之间的关系。我们发现当对抗样本的攻击成功率变差时，灾难性过拟合发生。基于该观察，我们提出一种正向先验引导对抗初始化，通过提升对抗样本质量来防止过拟合，且不产生额外训练成本。该初始化利用历史训练过程中的高质量对抗扰动生成。我们对所提初始化给出理论分析，并提出一种提升损失函数平滑度的先验引导正则化方法。此外，我们设计了一种先验引导集成FAT方法，使用不同衰减率对历史模型的不同模型权重进行平均。我们提出的方法称为FGSM-PGK，它集成了历史训练过程中获得的先验引导知识，即先验引导初始化与模型权重。在四个数据集上的评估证明了所提方法的优越性。
引用
@article{arxiv.2304.00202,
title = {Improving Fast Adversarial Training with Prior-Guided Knowledge},
author = {Xiaojun Jia and Yong Zhang and Xingxing Wei and Baoyuan Wu and Ke Ma and Jue Wang and Xiaochun Cao},
journal= {arXiv preprint arXiv:2304.00202},
year = {2023}
}