以可学习对抗初始化加速快速对抗训练
计算机视觉与模式识别
2022-07-13 v3 机器学习
摘要
对抗训练 (AT) 已被证明可通过利用对抗样本训练来提升模型鲁棒性。然而,多数 AT 方法在生成对抗样本时因多步计算梯度而面临高昂的时间与计算成本。为提升训练效率,快速 AT 方法采用快速梯度符号法 (FGSM),仅计算一次梯度。遗憾的是,其鲁棒性远不能令人满意。一个原因可能来自初始化方式。现有快速 AT 通常使用随机的与样本无关的初始化,虽提升效率却阻碍鲁棒性进一步提升。迄今,快速 AT 中的初始化仍未得到充分探索。本文中,我们以样本相关的对抗初始化(即一个生成网络基于良性图像及其来自目标网络的梯度信息所输出的结果)来加速快速 AT。由于生成网络与目标网络在训练阶段联合优化,前者可自适应地针对后者生成有效初始化,从而促使鲁棒性逐步提升。在四个基准数据库上的实验评估表明,我们所提方法优于最先进的快速 AT 方法,并与先进的多步 AT 方法具有可比鲁棒性。代码发布于 https://github.com//jiaxiaojunQAQ//FGSM-SDI。
引用
@article{arxiv.2110.05007,
title = {Boosting Fast Adversarial Training with Learnable Adversarial Initialization},
author = {Xiaojun Jia and Yong Zhang and Baoyuan Wu and Jue Wang and Xiaochun Cao},
journal= {arXiv preprint arXiv:2110.05007},
year = {2022}
}
备注
Accepted by TIP