基于LAW重访并探索高效的快速对抗训练：Lipschitz正则化与自动权重平均
计算机视觉与模式识别
2023-08-23 v1
摘要
快速对抗训练（FAT）不仅提升模型鲁棒性，还降低了标准对抗训练的训练成本。然而，快速对抗训练常遭受灾难性过拟合（CO），导致鲁棒性表现不佳。灾难性过拟合描述了快速对抗训练过程中鲁棒准确率突然显著下降的现象。许多有效技术已从不同角度被开发以预防灾难性过拟合并提升模型鲁棒性。然而，这些技术采用不一致的训练设置并需要不同的训练成本（即训练时间与内存成本），导致不公平比较。本文从对抗鲁棒性和训练成本两方面对超过10种快速对抗训练方法进行了全面研究。我们从模型局部非线性的角度重访快速对抗训练技术在预防灾难性过拟合上的有效性与效率，并提出一种用于快速对抗训练的有效Lipschitz正则化方法。此外，我们探索了数据增强与权重平均在快速对抗训练中的作用，并提出一种简单而有效的自动权重平均方法以进一步提升鲁棒性。通过组合这些技术，我们提出一种基于FGSM、配备Lipschitz正则化与自动权重平均的快速对抗训练方法，简称FGSM-LAW。在四个基准数据库上的实验评估证明了所提方法优于最先进的快速对抗训练方法与先进的标准对抗训练方法。
引用
@article{arxiv.2308.11443,
title = {Revisiting and Exploring Efficient Fast Adversarial Training via LAW: Lipschitz Regularization and Auto Weight Averaging},
author = {Xiaojun Jia and Yuefeng Chen and Xiaofeng Mao and Ranjie Duan and Jindong Gu and Rong Zhang and Hui Xue and Xiaochun Cao},
journal= {arXiv preprint arXiv:2308.11443},
year = {2023}
}