通过对抗训练提升类增量持续学习的准确性与鲁棒性

在现实中，针对深度学习模型的对抗攻击是一个致命的安全问题。然而，在广泛使用的类增量持续学习（CICL）中，该问题鲜被讨论。本文中，我们解决将对抗训练（一种众所周知的对抗攻击防御方法）应用于 CICL 的问题。CICL 的一个著名问题是类不平衡，即模型被先前任务的少量样本偏置至当前任务。与对抗训练相遇时，该不平衡引发了另一层跨任务的攻击尝试不平衡。由于类不平衡导致少数类干净数据匮乏，以及次级不平衡导致多数类攻击尝试增加，对抗训练扭曲了最优决策边界。这种扭曲最终使准确率和鲁棒性均低于未对抗训练的情况。为排除这些影响，我们提出了一种简单但直接显著有效的方法——外部对抗训练（EAT），可应用于使用经验回放的方法。该方法在每个时间步对当前任务数据的辅助外部模型进行对抗训练，并将生成的对抗样本用于训练目标模型。我们在一个玩具问题上验证了效果，并展示了在图像分类 CICL 基准上的重要性。我们期望该结果可作为 CICL 鲁棒性研究的首个基线。