缓解基于差分隐私的联邦学习中的女巫攻击

在联邦学习中，机器学习和深度学习模型在分布式设备上全局训练。联邦学习背景下最先进的隐私保护技术是用户级差分隐私。然而，这种机制易受某些特定的模型投毒攻击（如女巫攻击）的侵害。恶意对手可在女巫攻击中创建多个虚假客户端或串通被攻陷设备，以直接操纵模型更新。近期针对模型投毒攻击的新防御方法在利用差分隐私时难以检测女巫攻击，因为差分隐私通过扰动掩盖客户端的模型更新。本工作中，我们在基于差分隐私的联邦学习架构上实施了首个女巫攻击，并展示其对模型收敛的影响。我们通过操纵反映这些女巫客户端本地模型更新的差分隐私本地隐私预算epsilon的不同噪声水平，随机攻陷部分客户端，从而使全局模型收敛速度下降甚至导致发散。我们将攻击应用于两种近期聚合防御机制，称为Krum和Trimmed Mean。我们在MNIST和CIFAR-10数据集上的评估结果表明，我们的攻击有效减缓了全局模型的收敛。随后我们提出一种方法，持续监控每轮所有参与者的平均损失以检测收敛异常，并基于各客户端报告的预测代价防御我们的女巫攻击。我们的实证研究表明，我们的防御方法有效缓解了女巫攻击对模型收敛的影响。