感知对抗者的持续学习

类增量学习方法很有用，因为它们帮助模型顺序学习新信息（类），同时保留先前获得的信息（类）。然而，已有研究表明此类方法极易受到对抗性后门攻击，其中智能攻击者可在训练期间以人类不可察觉的后门模式向模型注入少量错误信息，从而在测试时导致对特定任务或类的蓄意遗忘。本工作中，我们提出一种新颖防御框架以反击此类阴险攻击：我们利用攻击者的主要优势——通过使后门模式对人类不可察觉来隐藏它——反制其自身，并提议（同样在训练期间）学习一个可压倒攻击者不可察觉（较弱）模式的易察觉（较强）模式。我们通过持续学习基准变体 CIFAR-10、CIFAR-100 和 MNIST 数据集上多种常用的基于回放（生成式与精确回放式）类增量学习算法，展示了所提防御机制的有效性。最值得注意的是，我们的防御框架不假定防御者已知攻击者的目标任务与目标类，防御者亦不知晓攻击者模式的形状、大小与位置。我们表明，在不知攻击者目标任务、目标类及不可察觉模式的情况下，所提防御框架显著改善了类增量学习算法的性能。我们将该防御框架称为感知对抗者的持续学习（AACL）。