长尾对抗训练与自蒸馏
计算机视觉与模式识别
2025-08-06 v3
摘要
对抗训练显著增强了对抗鲁棒性，但优异性能主要是在平衡数据集上实现。针对不平衡或长尾分布中的对抗鲁棒性，面临的挑战要大得多，主要是由于尾部数据实例稀缺。先前的研究在长尾分布中探讨对抗鲁棒性，主要侧重于将传统长尾自然训练与现有对抗鲁棒性方法相结合。本研究对对抗训练在长尾分布中难以在尾部类别上实现高性能的挑战进行深入分析。此外，我们提出一种简单而有效的解决方案，通过一种新颖的自蒸馏技术来推进长尾分布上的对抗鲁棒性。具体而言，该方法利用基于平衡数据集采样的原始长尾数据集训练的平衡自教师模型。我们进行了大量实验，展示在干净和鲁棒准确性方面在长尾对抗鲁棒性方面实现了状态的最佳性能，在各种数据集上显著提升了尾部类别的性能。我们在 CIFAR-10、CIFAR-100 和 Tiny-ImageNet 上的尾部类别对 PGD 攻击的准确性分别提高了 20.3、7.1 和 3.8 个百分点，同时实现了最高的鲁棒准确性。
引用
@article{arxiv.2503.06461,
title = {Long-tailed Adversarial Training with Self-Distillation},
author = {Seungju Cho and Hongsin Lee and Changick Kim},
journal= {arXiv preprint arXiv:2503.06461},
year = {2025}
}
备注
ICLR 2025. See OpenReview and code (in Supplementary Material) at https://openreview.net/forum?id=vM94dZiqx4