持续学习器中通过不可感知后门触发形成的错误记忆
机器学习
2022-02-10 v1 密码学与安全
摘要
在本简报中，我们表明，向持续（增量）学习模型顺序输入新信息会带来新的安全风险：智能对手可在训练期间向模型注入少量错误信息，从而在测试时导致对特定任务或类别的刻意遗忘，进而对该任务形成“错误记忆”。我们通过在基于生成回放和正则化的常用持续学习方法（使用MNIST的持续学习基准变体，以及更具挑战性的SVHN和CIFAR 10数据集）中注入“后门”攻击样本，展示了此类对手接管模型的能力。或许最具破坏性的是，我们表明该漏洞非常严重且异常有效：我们攻击模型中的后门模式对人眼不可感知，可在任意时刻提供，可加入甚至单个可能不相关任务的训练数据中，并且仅需单个任务总训练数据集的1%即可实现。
引用
@article{arxiv.2202.04479,
title = {False Memory Formation in Continual Learners Through Imperceptible Backdoor Trigger},
author = {Muhammad Umer and Robi Polikar},
journal= {arXiv preprint arXiv:2202.04479},
year = {2022}
}