针对持续学习脆弱性的数据投毒攻击
机器学习
2023-07-04 v2 密码学与安全
计算机视觉与模式识别
摘要
一般而言，基于正则化的持续学习模型限制对先前任务数据的访问，以模拟与记忆和隐私相关的现实约束。然而，这在这些模型中引入了一个问题，即无法跟踪每个任务上的性能。本质上，当前的持续学习方法易受针对先前任务的攻击。我们通过提出一种简单的任务特定数据投毒攻击来展示基于正则化的持续学习方法的安全性漏洞，该攻击可用于新任务的学习过程中。由所提攻击生成的训练数据会导致攻击者所针对的特定任务上的性能下降。我们在两种代表性的基于正则化的持续学习方法——弹性权重巩固 (EWC) 与突触智能 (SI) 上，使用 MNIST 数据集的变体训练来实验该攻击。实验结果证实了本文所提出的脆弱性，并表明开发对对抗攻击鲁棒的持续学习模型的重要性。
引用
@article{arxiv.2211.15875,
title = {Data Poisoning Attack Aiming the Vulnerability of Continual Learning},
author = {Gyojin Han and Jaehyun Choi and Hyeong Gwon Hong and Junmo Kim},
journal= {arXiv preprint arXiv:2211.15875},
year = {2023}
}
备注
ICIP 2023 (NeurIPS 2022 ML Safety Workshop accepted paper)