重新审视长尾分布下的对抗训练
计算机视觉与模式识别
2024-03-18 v1
摘要
深度神经网络容易受到对抗性攻击,常导致错误输出。对抗训练被认作抵御此类攻击的最有效方法之一。然而,现有对抗训练技术主要在平衡数据集上测试,而现实世界数据常呈现长尾分布,这使这些方法在实际场景中的效果存疑。本文深入探讨长尾分布下的对抗训练。通过分析之前的工作"RoBal",我们发现仅使用平衡软max损失即可实现相当于完整RoBal方法的性能,同时显著降低训练开销。此外,我们揭示了与均匀分布类似,长尾分布下的对抗训练也存在鲁棒过拟合问题。为此,我们探索数据增强作为解决方案,意外发现与平衡数据的实验结果不同,数据增强不仅有效缓解鲁棒过拟合,还显著提升鲁棒性。我们进一步研究了数据增强提升鲁棒性的原因,并指出这是由于示例多样性的增加所致。广泛的实验进一步证明,数据增强alone即可显著提升鲁棒性。最后,基于上述发现,我们展示了与RoBal相比,平衡软max损失（BSL）与数据增强的组合可在CIFAR-10-LT上使用AutoAttack实现约+6.66%的鲁棒性提升。我们的代码已发布于https://github.com/NISPLab/AT-BSL。
引用
@article{arxiv.2403.10073,
title = {Revisiting Adversarial Training under Long-Tailed Distributions},
author = {Xinli Yue and Ningping Mou and Qian Wang and Lingchen Zhao},
journal= {arXiv preprint arXiv:2403.10073},
year = {2024}
}
备注
Accepted to CVPR 2024