联邦学习后门攻击下模型梯度中的异常定位

Zeki Bilgin

联邦学习后门攻击下模型梯度中的异常定位

机器学习 2021-11-30 v1 人工智能密码学与安全神经与进化计算

作者: Zeki Bilgin

摘要

在联邦学习（FL）中向联合模型插入后门是近期引起关注的一种威胁。现有研究大多侧重于针对该威胁开发有效的对策，其假设是：若存在后门局部模型，它们会以其梯度中的异常某种程度地显现出来。然而，这一假设需要通过具体识别哪些梯度在何种条件下更可能在多大程度上指示异常来加以阐明。鉴于神经网络模型通常具有巨大的参数空间并包含大量权重，这是一个重要问题。在本研究中，我们对针对 FL 的若干后门攻击场景下模型梯度中的预期变化进行了深入的梯度级分析。我们的主要新发现是，恶意局部模型的局部模型更新（权重或梯度）中由后门诱导的异常出现在最终层偏置权重中。我们通过各种 FL 设置下的理论与实验分析支持并验证了我们的发现。我们还研究了恶意客户端数量、学习率以及恶意数据率对观测异常的影响。我们的实现已公开可用\footnote{\url{ https://github.com/ArcelikAcikKaynak/Federated_Learning.git}}。

关键词

联邦学习后门攻击异常定位模型梯度梯度级分析局部模型更新最终层偏置

引用

@article{arxiv.2111.14683,
  title  = {Anomaly Localization in Model Gradients Under Backdoor Attacks Against Federated Learning},
  author = {Zeki Bilgin},
  journal= {arXiv preprint arXiv:2111.14683},
  year   = {2021}
}

备注

13 pages and the code is available

联邦学习后门攻击下模型梯度中的异常定位

摘要

关键词

引用

备注

相关论文