针对增量学习器的后门攻击：一项实证评估研究
密码学与安全
2023-05-31 v1 人工智能
机器学习
摘要
已有大量增量学习算法被提出，以缓解处理时间序列顺序数据时所出现的灾难性遗忘问题。然而，增量学习器的对抗鲁棒性尚未被广泛验证，存在潜在的安全风险。具体而言，对于基于投毒的后门攻击，我们认为IL中流数据的本质为攻击者提供了极大便利，创造了分布式与跨任务攻击的可能性——攻击者可在任意时刻或时间序列通过数据投毒，以极少量注入的后门样本（例如根据我们的观察为）影响任意未知的先前或后续任务。为引起研究界的关注，本文在3种学习场景下对11种典型增量学习器针对基于投毒的后门攻击的高脆弱性进行了实证揭示，尤其是后门知识的跨任务泛化效应，而投毒比例范围从低至。最后，发现基于激活聚类的防御机制能有效检测我们的触发器模式，从而缓解潜在的安全风险。
引用
@article{arxiv.2305.18384,
title = {Backdoor Attacks Against Incremental Learners: An Empirical Evaluation Study},
author = {Yiqi Zhong and Xianming Liu and Deming Zhai and Junjun Jiang and Xiangyang Ji},
journal= {arXiv preprint arXiv:2305.18384},
year = {2023}
}