制造噪声：可靠高效的单步对抗训练
机器学习
2022-10-19 v3 计算机视觉与模式识别
摘要
近期，Wong等人表明，使用单步FGSM的对抗训练会导致一种称为灾难性过拟合（Catastrophic Overfitting, CO）的特征性失败模式，即模型突然对多步攻击变得脆弱。他们通过实验表明，在FGSM之前简单添加随机扰动（RS-FGSM）可防止CO。然而，Andriushchenko与Flammarion观察到，对于更大扰动，RS-FGSM仍会导致CO，并提出了计算代价高昂的正则化器（GradAlign）以避免之。在本工作中，我们系统性地重新审视了噪声与裁剪在单步对抗训练中的作用。与先前直觉相反，我们发现，在干净样本周围使用更强噪声且不进行裁剪，对于大扰动半径下避免CO极为有效。我们进而提出Noise-FGSM（N-FGSM），其在提供单步对抗训练优势的同时，不受CO影响。大量实验的实证分析表明，N-FGSM能够匹配或超越先前最优的GradAlign性能，同时实现3倍加速。代码见 https://github.com/pdejorge/N-FGSM
引用
@article{arxiv.2202.01181,
title = {Make Some Noise: Reliable and Efficient Single-Step Adversarial Training},
author = {Pau de Jorge and Adel Bibi and Riccardo Volpi and Amartya Sanyal and Philip H. S. Torr and Grégory Rogez and Puneet K. Dokania},
journal= {arXiv preprint arXiv:2202.01181},
year = {2022}
}
备注
Published in NeurIPS 2022