少即是多：用于加速对抗训练的数据剪枝
机器学习
2023-03-01 v2 计算机视觉与模式识别
摘要
深度神经网络（DNNs）对对抗样本敏感，导致在真实世界中性能脆弱且不可靠。尽管对抗训练（AT）目前是使 DNN 鲁棒化的最有效方法之一，但其计算开销非常大（例如，比标准训练昂贵 5-10 倍）。为应对该挑战，现有方法聚焦于单步 AT，称为快速 AT，以减少对抗样本生成的开销。遗憾的是，已知这些方法在更强对手面前会失效。为使 AT 在计算上高效而不牺牲鲁棒性，本文从高效 AT 问题的不同视角出发。具体而言，我们提出通过利用数据剪枝在数据层面最小化冗余。大量实验表明，基于数据剪枝的 AT 能达到与其未剪枝对应方法相似或更优的鲁棒（及干净）精度，同时显著更快。例如，所提策略将 CIFAR-10 训练加速达 3.44 倍，将 CIFAR-100 训练加速至 2.02 倍。此外，数据剪枝方法可轻易与现有对抗加速技巧结合，从而在 CIFAR-10 上以 TRADES 和 MART 分别获得 5.66 倍和 5.12 倍的显著加速，在 CIFAR-100 上分别获得 3.67 倍和 3.07 倍的加速。
引用
@article{arxiv.2302.12366,
title = {Less is More: Data Pruning for Faster Adversarial Training},
author = {Yize Li and Pu Zhao and Xue Lin and Bhavya Kailkhura and Ryan Goldhahn},
journal= {arXiv preprint arXiv:2302.12366},
year = {2023}
}
备注
The AAAI-23 Workshop on Artificial Intelligence Safety (SafeAI 2023)