基于噪声增强的快速对抗训练：RandStart 与 GradAlign 的统一视角
机器学习
2022-10-06 v2 人工智能
摘要
基于 PGD 和基于 FGSM 是两种流行的用于获得对抗鲁棒模型的对抗训练（AT）方法。与基于 PGD 的 AT 相比，基于 FGSM 的 AT 显著更快，但会因灾难性过拟合（CO）而失效。为缓解此类快速 AT 中的 CO，现有两种流行策略：随机起点（RandStart）与梯度对齐（GradAlign）。前者仅适用于 l_∞ 约束下相对较小的扰动 8/255，而 GradAlign 将其改进为可将扰动大小扩展到 16/255（l_∞ 约束下），但代价是慢 3 到 4 倍。如何在大扰动尺寸下避免快速 AT 中的 CO 且不增加计算开销，仍是一个未解决的问题，我们的工作提供了一个令人惊讶地简单（却有效）的方案。具体而言，我们的方案在于噪声增强（NoiseAug），它是简化 GradAlign 的一个非平凡副产品。通过简化 GradAlign，我们有两个发现：（i）在 GradAlign 中对齐 logit 而非梯度只需一半训练时间，却比 GradAlign 取得更高性能；（ii）对齐操作也可仅保留噪声增强（NoiseAug）而移除。从 GradAlign 简化而来的 NoiseAug 与 RandStart 惊人地相似，区别在于我们将噪声注入图像而非扰动。为理解为何向输入注入噪声能防止 CO，我们验证这并非由数据增强效应（向图像注入噪声）引起，而是由改善的局部线性所致。我们为 NoiseAug 为何无需显式正则化即可改善局部线性提供了直观解释。大量结果表明，我们的 NoiseAug 在 FGSM AT 中取得了 SOTA 结果。代码将在接收后发布。
引用
@article{arxiv.2202.05488,
title = {Fast Adversarial Training with Noise Augmentation: A Unified Perspective on RandStart and GradAlign},
author = {Axi Niu and Kang Zhang and Chaoning Zhang and Chenshuang Zhang and In So Kweon and Chang D. Yoo and Yanning Zhang},
journal= {arXiv preprint arXiv:2202.05488},
year = {2022}
}