使 $\ell_\infty$ 对抗训练对扰动模型并集具有鲁棒性
机器学习
2021-06-15 v3 机器学习
摘要
经典的对抗训练（AT）框架旨在针对单一攻击类型（通常为 范数有界扰动）实现高对抗精度。近期 AT 的扩展致力于防御多种扰动的并集，但这一收益是以相较单攻击 AT 训练复杂度显著（高达 ）增加为代价的。本文扩展广泛流行的单攻击 AT 框架的能力，使其对 () 扰动的并集具有鲁棒性，同时保持其训练效率。我们的技术称为形状噪声增强处理（SNAP），它利用了单攻击 AT 框架一个公认的产物——网络决策边界曲率的降低。SNAP 在给定深度网络前添加一个形状噪声增强层，其分布与网络参数一同使用任何标准单攻击 AT 进行学习。因此，SNAP 在 CIFAR-10 上针对四种最先进（SOTA）的单攻击 AT 框架，将 ResNet-18 对 () 扰动并集的对抗精度提升了 14% 至 20%，并首次在 ImageNet 上确立了 ResNet-50 和 ResNet-101 的基准。
引用
@article{arxiv.2105.14710,
title = {Robustifying $\ell_\infty$ Adversarial Training to the Union of Perturbation Models},
author = {Ameya D. Patil and Michael Tuttle and Alexander G. Schwing and Naresh R. Shanbhag},
journal= {arXiv preprint arXiv:2105.14710},
year = {2021}
}