Batch-in-Batch：针对初始扰动和样本选择的新型对抗训练框架
机器学习
2024-06-07 v1 人工智能
摘要
对抗训练方法通常从简单的均匀分布生成独立的初始扰动，用于对抗样本，并在不进行选择的情况下获得分类器的训练批次。本文提出一种简单而有效的训练框架，称为 Batch-in-Batch（BB），以增强模型的鲁棒性。它涉及为原始批次集生成 组扰动的联合初始值的特定构造，以提供对抗样本的更多多样性；还包括各种样本选择策略，使训练得到的模型具有更平滑的损失并避免过度自信输出。在针对三个基准数据集（CIFAR-10、SVHN、CIFAR-100）以及两个网络（PreActResNet18 和 WideResNet28-10）进行大量实验时，这两个网络分别用于单步（Noise-Fast Gradient Sign Method, N-FGSM）和多步（Projected Gradient Descent, PGD-10）对抗训练，我们展示在各种对抗设置下，置于 BB 框架下训练的模型在对抗准确率上始终高于基线模型，尤其在攻击半径为 8/255 时，在 SVHN 数据集上实现了超过 13% 的提升。此外，我们对所提初始扰动方法和样本选择策略效率的实验分析验证了我们的见解。最后，我们表明该框架在计算资源方面具有成本效益，即使 值较大也亦如此。
关键词
引用
@article{arxiv.2406.04070,
title = {Batch-in-Batch: a new adversarial training framework for initial perturbation and sample selection},
author = {Yinting Wu and Pai Peng and Bo Cai and Le Li and .},
journal= {arXiv preprint arXiv:2406.04070},
year = {2024}
}
备注
29 pages, 11 figures