AccelAT：基于准确率梯度的深度神经网络对抗训练加速框架
机器学习
2022-10-14 v1 计算机视觉与模式识别
摘要
对抗训练被用于开发鲁棒的深度神经网络（DNN）模型以抵御恶意篡改的数据。这些攻击可能对 DNN 模型产生灾难性影响，但对人类而言难以区分。例如，外部攻击可通过添加人眼不可见的噪声来修改图像，但 DNN 模型会误分类该图像。开发鲁棒 DNN 模型的一个关键目标是使用一种快速的学习算法，同时能给出对各类对抗攻击鲁棒的模型。尤其对于对抗训练，需要极长的训练时间以在利用不同对抗攻击技术生成的多种对抗样本下获得高准确率。本文旨在加速对抗训练，以实现鲁棒 DNN 模型针对对抗攻击的快速开发。提升训练性能的通用方法是超参数微调，其中学习率是最关键的超参数之一。通过在训练过程中修改其形状（随时间变化的值）与取值，我们可以比标准训练更快地获得对对抗攻击鲁棒的模型。首先，我们在两个不同数据集（CIFAR10、CIFAR100）上开展实验，探索多种技术。随后，该分析被用于开发一种新颖的快速训练方法 AccelAT，其基于准确率梯度自动调整不同轮次的学习率。实验显示出与相关工作可比的结果，且在若干实验中，使用我们的 AccelAT 框架进行 DNN 对抗训练比现有技术快至多 2 倍。因此，在安全与性能为基于 DNN 应用中基本优化目标的当下，我们的发现提升了对抗训练的速度。
引用
@article{arxiv.2210.06888,
title = {AccelAT: A Framework for Accelerating the Adversarial Training of Deep Neural Networks through Accuracy Gradient},
author = {Farzad Nikfam and Alberto Marchisio and Maurizio Martina and Muhammad Shafique},
journal= {arXiv preprint arXiv:2210.06888},
year = {2022}
}
备注
12 pages