参数节省对抗训练：通过超网络强化多扰动鲁棒性
计算机视觉与模式识别
2023-09-29 v1
摘要
对抗训练是最流行且有效的防御对抗扰动的方法之一。然而，大多数防御机制仅考虑单一类型扰动，而现实场景中被部署模型可能遭受多种攻击方法以执行更强的对抗攻击，例如 或 。防御多种攻击可能是一个具挑战性的问题，因为多扰动对抗训练及其变体仅取得次优的鲁棒性权衡，这源于单一模型多扰动鲁棒性的理论极限。此外，在某些存储高效场景中部署大型模型是不切实际的。为解决这些缺陷，本文提出一种新颖的多扰动对抗训练框架——参数节省对抗训练（PSAT），以强化多扰动鲁棒性，并附带节省参数的优势副作用；其利用超网络训练针对单一扰动的专用模型，并聚合这些专用模型以防御多种扰动。最终，我们在不同数据集上针对各类最新攻击方法，将所提方法与最先进的单/多扰动鲁棒方法进行了广泛评估与比较，展示了所提方法的鲁棒性优越性与参数高效性，例如，在以 ResNet-50 为骨干的 CIFAR-10 数据集上，PSAT 在取得最先进鲁棒性权衡精度的同时节省约 80% 参数。
引用
@article{arxiv.2309.16207,
title = {Parameter-Saving Adversarial Training: Reinforcing Multi-Perturbation Robustness via Hypernetworks},
author = {Huihui Gong and Minjing Dong and Siqi Ma and Seyit Camtepe and Surya Nepal and Chang Xu},
journal= {arXiv preprint arXiv:2309.16207},
year = {2023}
}
备注
9 pages, 2 figures