面向大规模深度神经网络鲁棒化的分布式对抗训练
机器学习
2022-09-08 v2
摘要
当前的深度神经网络（DNNs）易受对抗攻击，即对输入的对抗扰动可改变或操纵分类。为防御此类攻击，一种有效且流行的方法称为对抗训练（AT），已通过极小极大鲁棒训练方法证明能减轻对抗攻击的负面影响。尽管有效，尚不清楚它能否成功适配到分布式学习语境中。多机分布式优化的能力使我们能够扩大大型模型与数据集上的鲁棒训练规模。受此推动，我们提出分布式对抗训练（DAT），一种在多机上实现的 large-batch 对抗训练框架。我们表明 DAT 具有通用性，支持有标签与无标签数据上的训练、多种攻击生成方法，以及受分布式优化青睐的梯度压缩操作。在理论上，我们在优化理论标准条件下，给出了 DAT 在一般非凸设定下收敛至一阶平稳点的速率。在实证上，我们展示 DAT 匹配或超越最先进鲁棒准确率，并实现了顺畅的训练加速（例如在 ImageNet 下的 ResNet-50 上）。代码见 https://github.com/dat-2022/dat。
引用
@article{arxiv.2206.06257,
title = {Distributed Adversarial Training to Robustify Deep Neural Networks at Scale},
author = {Gaoyuan Zhang and Songtao Lu and Yihua Zhang and Xiangyi Chen and Pin-Yu Chen and Quanfu Fan and Lee Martie and Lior Horesh and Mingyi Hong and Sijia Liu},
journal= {arXiv preprint arXiv:2206.06257},
year = {2022}
}