通过数据选择扩展对抗训练
机器学习
2025-12-29 v1
摘要
投影梯度下降（PGD）是一种强大且广泛使用的一阶对抗攻击方法，但其计算成本随规模扩展性差，因为所有训练样本都经历相同的迭代内环优化，尽管它们对鲁棒性的贡献并不相等。受此低效性启发，我们提出了“选择性对抗训练”，该方法在每个小批量中仅扰动关键样本的子集。具体来说，我们引入了两个有原则的选择标准：（1）基于间隔的采样，优先选择靠近决策边界的样本；（2）梯度匹配采样，选择其梯度与主导批量优化方向一致的样本。对抗样本仅为选定的子集生成，而其余样本则使用混合目标进行干净训练。在 MNIST 和 CIFAR-10 上的实验表明，所提出的方法实现了与完整 PGD 对抗训练相当甚至更优的鲁棒性，同时将对抗计算量减少了高达 50%，证明了明智的样本选择足以实现可扩展的对抗鲁棒性。
引用
@article{arxiv.2512.22069,
title = {Scaling Adversarial Training via Data Selection},
author = {Youran Ye and Dejin Wang and Ajinkya Bhandare},
journal= {arXiv preprint arXiv:2512.22069},
year = {2025}
}
备注
6 pages. Conference workshop paper