TRADES方法中的对抗鲁棒性过度估计与不稳定性
机器学习
2024-10-11 v1 人工智能
摘要
本文检验了TRADES这一突出对抗训练方法中概率性鲁棒性过度估计的现象。我们的研究发现，TRADES在多类分类任务中，PGD验证准确率有时显著高于AutoAttack测试准确率。这一差异凸显了这些实例鲁棒性的显著过度估计，可能与梯度遮蔽（gradient masking）有关。我们进一步分析导致不稳定模型的各项参数。我们的发现表明，较小的批量大小、较低的beta值（控制TRADES中鲁棒损失项权重的beta值）、较大的学习率以及更高的类别复杂度（例如CIFAR-100相对于CIFAR-10）与鲁棒性过度估计的可能性增加相关。通过检查First-Order Stationary Condition（FOSC）、内最大化和梯度信息等指标，我们识别出这一现象的根本原因是梯度遮蔽，并提供了相关见解。此外，我们的实验表明，某些不稳定的训练实例可能返回到没有鲁棒性过度估计的状态，这激发了我们尝试解决问题的动机。在除了调整参数设置以减少不稳定性或在发生过度估计时重新训练之外，我们建议在FOSC得分超过阈值时，在输入中纳入高斯噪声。该方法旨在从根本上缓解TRADES及其他类似方法的鲁棒性过度估计，确保在评估期间对对抗鲁棒性的更可靠表示。
引用
@article{arxiv.2410.07675,
title = {Adversarial Robustness Overestimation and Instability in TRADES},
author = {Jonathan Weiping Li and Ren-Wei Liang and Cheng-Han Yeh and Cheng-Chang Tsai and Kuanchun Yu and Chun-Shien Lu and Shang-Tse Chen},
journal= {arXiv preprint arXiv:2410.07675},
year = {2024}
}