子空间对抗训练
机器学习
2022-03-23 v2
摘要
单步对抗训练(AT)因被证明既高效又鲁棒而受到广泛关注。然而，存在一个严重的问题即灾难性过拟合：针对投影梯度下降(PGD)攻击的鲁棒准确率在训练过程中突然降至 0%。在本文中，我们从优化的新颖视角切入该问题，并首次揭示了每个样本快速增长的梯度与过拟合之间的密切联系，这也可用于理解多步 AT 中的鲁棒过拟合。为控制梯度的增长，我们提出一种新的 AT 方法——子空间对抗训练(Sub-AT)，它将 AT 约束在一个精心提取的子空间中。该方法成功解决了两类过拟合并显著提升了鲁棒性。在子空间中，我们还允许单步 AT 采用更大的步长与更大的半径，进一步改善鲁棒性表现。因此，我们取得了最先进的单步 AT 性能。在不使用任何正则化项的情况下，我们的单步 AT 在 CIFAR-10 上针对半径为 8/255 的强 PGD-50 攻击可达到超过 51% 的鲁棒准确率，以巨大的计算优势达到了与标准多步 PGD-10 AT 相竞争的性能。代码发布于 https://github.com/nblt/Sub-AT。
引用
@article{arxiv.2111.12229,
title = {Subspace Adversarial Training},
author = {Tao Li and Yingwen Wu and Sizhe Chen and Kun Fang and Xiaolin Huang},
journal= {arXiv preprint arXiv:2111.12229},
year = {2022}
}
备注
CVPR2022