具有平滑收敛性的快速对抗训练
机器学习
2023-08-25 v1
摘要
快速对抗训练（FAT）有益于提升神经网络的对抗鲁棒性。然而，先前的 FAT 工作在处理大扰动预算时遇到了称为灾难性过拟合的显著问题，即模型的对抗鲁棒性在训练期间下降至接近零。为此，我们分析先前 FAT 工作的训练过程，并观察到灾难性过拟合伴随着损失收敛离群点的出现。因此，我们认为适度平滑的损失收敛过程将是一个解决灾难性过拟合的稳定 FAT 过程。为获得平滑的损失收敛过程，我们提出一种新颖的振荡约束（称为 ConvergeSmooth）以限制相邻 epoch 间的损失差异。引入 ConvergeSmooth 的收敛步长以平衡收敛与平滑。同样，我们设计了权重中心化，除损失平衡系数外不引入额外超参数。我们提出的方法是攻击无关的，从而可提升多种 FAT 技术的训练稳定性。在流行数据集上的大量实验表明，所提方法有效避免灾难性过拟合并优于所有先前的 FAT 方法。代码见 \url{https://github.com/FAT-CS/ConvergeSmooth}。
引用
@article{arxiv.2308.12857,
title = {Fast Adversarial Training with Smooth Convergence},
author = {Mengnan Zhao and Lihe Zhang and Yuqiu Kong and Baocai Yin},
journal= {arXiv preprint arXiv:2308.12857},
year = {2023}
}