Neurotoxin：联邦学习中的持久后门
密码学与安全
2022-06-22 v1 人工智能
机器学习
摘要
由于其去中心化特性，联邦学习（FL）系统在其训练过程中固有地易受对抗性后门攻击。此类攻击中，攻击者的目标是利用投毒更新将所谓后门植入所学模型，使得在测试时，对于特定输入，模型输出可被固定为给定目标。（作为一个简单的玩具示例，若用户在使用了被植入后门的下一词预测模型的移动键盘应用中输入“people from New York”，则模型可将句子自动补全为“people from New York are rude”）。已有工作表明后门可被插入 FL 模型，但这些后门往往不持久，即攻击者停止上传投毒更新后，后门不会保留在模型中。因此，由于生产型 FL 系统中训练通常是渐进持续进行的，所插入的后门可能无法存活至部署。在此，我们提出 Neurotoxin，一种对现有后门攻击的一行式简易修改，其通过攻击训练过程中幅度变化较小的参数来起作用。我们在十个自然语言处理与计算机视觉任务上进行了详尽评估，发现可将 SOTA 后门的持久性翻倍。
引用
@article{arxiv.2206.10341,
title = {Neurotoxin: Durable Backdoors in Federated Learning},
author = {Zhengming Zhang and Ashwinee Panda and Linyue Song and Yaoqing Yang and Michael W. Mahoney and Joseph E. Gonzalez and Kannan Ramchandran and Prateek Mittal},
journal= {arXiv preprint arXiv:2206.10341},
year = {2022}
}
备注
Appears in ICML 2022