通过自知识引导提高快速对抗训练方法

对抗训练在抵御对抗性攻击方面取得了显著进展。其中，快速对抗训练(FAT)因其在更少计算资源下即可实现竞争性鲁棒性而受到关注。现有FAT方法通常采用统一策略，对所有训练数据相等优化，导致优化不平衡。然而，这种不平衡在FAT领域尚未被充分探索。本文对FAT中的不平衡问题进行全面研究，观察到不同类别在性能上的显著差异。这种差异可从干净准确率与鲁棒准确率之间的对齐程度来体现。基于分析，我们主要将观察到的错位和差异归因于FAT中的不平衡优化，这激发了我们对不同训练数据进行自适应优化以提升鲁棒性的动力。具体而言，我们在考虑差异和错位的基础上，首先引入自知识引导正则化，为每个类别分配不同的正则化权重，以缓解类别差异。此外，我们提出自知识引导标签松弛方法，根据训练准确率调整标签松弛程度，以缓解错位并提升鲁棒性。通过综合上述方法，我们构建了自知识引导快速对抗训练框架(SKG-FAT)，利用训练期间自然生成的知识提升对抗鲁棒性，而不牺牲训练效率。广泛实验表明，SKG-FAT在四个标准数据集上提升了鲁棒性，同时保持了竞争性的干净准确率，优于当前最先进的方法。