用于聚焦对抗训练中重要样本的一对多损失

本文提出一种用于对抗训练的新损失函数。由于对抗训练存在诸如需要高模型容量等困难，通过加权交叉熵损失聚焦重要数据点已引起广泛关注。然而，它们易受如Auto-Attack等复杂攻击。本文通过实验揭示其脆弱性的成因在于真实标签与其他标签间logits的边界过小。由于神经网络基于logits对数据点分类，logits边界应足够大以避免攻击翻转最大logit。重要性感知方法并未增大重要样本的logit边界，而是相较交叉熵损失减小了较不重要样本的边界。为增大重要样本的logit边界，我们提出切换式一对多损失（SOVR），其对具较小logit边界的重要样本从交叉熵切换为 pairwise 一对多损失。我们证明对一个简单问题，一对多损失使logit边界增大为加权交叉熵损失的两倍。我们通过实验确认SOVR不像现有方法那样增大重要样本的logit边界，并在对Auto-Attack的鲁棒性上优于重要性感知方法。