BrainWash：一种用于持续学习中诱导遗忘的投毒攻击
机器学习
2023-11-27 v3 人工智能
密码学与安全
摘要
持续学习在深度学习社区中获得了广泛关注，为顺序学习这一难题提供了有前景的解决方案。然而，该范式一个很大程度上未被探索的方面是其对对抗攻击的易感性，尤其是以诱导遗忘为目标的攻击。在本文中，我们提出“BrainWash”，一种专门设计用于迫使持续学习器发生遗忘的新型数据投毒方法。通过将 BrainWash 噪声添加到多种基线上，我们展示了即便使用这些持续学习基线，训练好的持续学习器也会灾难性地遗忘其先前学习的任务。我们方法的一个重要特征是，攻击者无需访问先前任务的数据，仅拥有模型当前参数以及属于最新任务的数据即可。我们大量的实验凸显了 BrainWash 的有效性，展示了在各种基于正则化的持续学习方法上性能的退化。
引用
@article{arxiv.2311.11995,
title = {BrainWash: A Poisoning Attack to Forget in Continual Learning},
author = {Ali Abbasi and Parsa Nooralinejad and Hamed Pirsiavash and Soheil Kolouri},
journal= {arXiv preprint arXiv:2311.11995},
year = {2023}
}