利用梯度近似降低对抗训练成本
计算机视觉与模式识别
2023-10-11 v3 机器学习
摘要
深度学习模型已在多个领域取得最先进的性能，但它们易受精心构造但扰动微小的输入（即对抗样本，AEs）的攻击。在众多提升模型抗AEs鲁棒性的策略中，基于投影梯度下降（PGD）的对抗训练是最有效的方法之一。遗憾的是，由于损失函数的最大化，生成足够强AEs所带来的高昂计算开销，使得在使用更大且更复杂的模型时，常规PGD对抗训练有时难以实用。本文提出对抗损失可由泰勒级数的部分和来近似。进一步地，我们近似对抗损失的梯度，并提出一种新颖高效的对抗训练方法——梯度近似对抗训练（GAAT），以降低构建鲁棒模型的成本。此外，大量实验表明，在自然样本与对抗样本上，该效率提升可在不损失或仅极少损失精度的情况下实现；在MNIST、CIFAR-10和CIFAR-100数据集上，所提方法节省多达60%的训练时间且模型测试精度相当。
引用
@article{arxiv.2309.09464,
title = {Reducing Adversarial Training Cost with Gradient Approximation},
author = {Huihui Gong},
journal= {arXiv preprint arXiv:2309.09464},
year = {2023}
}
备注
The experiments are insufficient, later will be updated. Withraw this manuscript