通过协同恶意梯度过滤实现拜占庭鲁棒联邦学习
机器学习
2023-05-02 v2 密码学与安全
分布式、并行与集群计算
摘要
联邦学习中基于梯度的训练已知易受故障/恶意客户端（通常建模为拜占庭客户端）的攻击。为此，先前工作要么利用参数服务器上的辅助数据来验证接收到的梯度（例如通过计算验证错误率），要么利用基于统计的方法（例如中位数与Krum）来识别并移除来自拜占庭客户端的恶意梯度。在本文中，我们指出辅助数据在实践中未必总可用，并聚焦于基于统计的方法。然而，近期关于模型投毒攻击的研究表明，精心设计的攻击可规避大多数基于中位数与基于距离的统计防御方法，使恶意梯度与诚实梯度难以区分。为应对该挑战，我们指出梯度向量的逐元素符号可为检测模型投毒攻击提供有价值的洞察。基于我们对Little is Enough攻击的理论分析，提出了一种称为SignGuard的新方法，通过协同恶意梯度过滤实现拜占庭鲁棒联邦学习。更确切地说，接收到的梯度首先被处理以生成相关的幅度、符号与相似性统计量，随后由多个过滤器协同利用，在最终聚合前消除恶意梯度。最后，在近期提出的攻击与防御策略下，对图像与文本分类任务进行了大量实验。数值结果证明了我们所提方法的有效性与优越性。代码见 https://github.com/JianXu95/SignGuard
引用
@article{arxiv.2109.05872,
title = {Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering},
author = {Jian Xu and Shao-Lun Huang and Linqi Song and Tian Lan},
journal= {arXiv preprint arXiv:2109.05872},
year = {2023}
}
备注
Published at ICDCS 2022. Adding link to source code