由梯度幅值引导的动态高效对抗训练
机器学习
2023-03-15 v2 密码学与安全
摘要
对抗训练是一种有效但耗时的训练方法，可得到能抵御强对抗攻击的鲁棒深度神经网络。针对其低效问题，我们提出动态高效对抗训练（DEAT），在训练过程中逐步增加对抗迭代次数。我们证明梯度的幅值与训练模型损失景观的曲率相关，从而可反映对抗训练的效果。因此，基于梯度幅值，我们提出一种通用加速策略 M+ 加速，实现了自动且高效的训练过程调整方法。M+ 加速计算高效且易于实现。它适用于 DEAT，并与大多数现有对抗训练技术兼容。我们在 CIFAR-10 与 ImageNet 数据集及多种训练环境下进行了大量实验。结果表明，所提 M+ 加速在保持相似鲁棒性能的同时，显著提升了现有对抗训练方法的训练效率。这表明该策略具有高度自适应性，并为自动对抗训练提供了有价值的解决方案。
引用
@article{arxiv.2103.03076,
title = {Dynamic Efficient Adversarial Training Guided by Gradient Magnitude},
author = {Fu Wang and Yanghao Zhang and Yanbin Zheng and Wenjie Ruan},
journal= {arXiv preprint arXiv:2103.03076},
year = {2023}
}
备注
18 pages, 6 figures