面向对抗过拟合的边界对抗样本

标准对抗训练方法存在鲁棒过拟合问题，即模型对抗训练时间过长时鲁棒准确率下降。该问题的起源尚不清楚，已有相互冲突的解释，即由大损失数据引起的记忆效应，或由于小损失数据以及随着对抗训练推进训练样本损失分布差异增大所致。因此，已提出包括早停、时间集成和对小损失数据进行权重扰动在内的若干缓解方法，以减轻鲁棒过拟合的影响。然而，这些策略的副作用是与标准对抗训练相比干净准确率下降更大。在本文中，我们研究这些缓解方法是否在改进对抗训练性能方面互为补充。我们进一步提出使用以极小代价在对抗样本生成中获得的辅助对抗样本，并展示它们如何在不损害鲁棒准确率的情况下提高现有方法中的干净准确率。