中文

FedRecover:利用历史信息从联邦学习中的投毒攻击中恢复

密码学与安全 2022-10-21 v1 人工智能 机器学习

摘要

联邦学习易受投毒攻击,其中恶意客户端通过向服务器发送恶意模型更新来毒化全局模型。现有防御侧重于通过鲁棒联邦学习方法防止少量恶意客户端毒化全局模型,以及在恶意客户端数量较多时检测它们。然而,在检测到恶意客户端后如何从投毒攻击中恢复全局模型仍是一个开放挑战。一种朴素解决方案是移除检测到的恶意客户端并从头训练新全局模型,这会产生巨大成本,对智能手机和 IoT 设备等资源受限客户端可能难以承受。本工作中,我们提出 FedRecover,它能以较小客户端成本从投毒攻击中恢复准确的全局模型。我们的核心思想是服务器估计客户端的模型更新,而非在恢复过程中要求客户端计算并通信它们。具体而言,服务器在训练被毒化的全局模型时,存储每轮的全局模型和客户端模型更新。在恢复过程中,服务器利用其存储的历史信息估计客户端每轮的模型更新。此外,我们进一步优化 FedRecover,通过预热、周期校正、异常修复和最终微调策略(其中服务器要求客户端计算并通信其精确模型更新)恢复更准确的全局模型。理论上,我们证明在一些假设下 FedRecover 恢复的全局模型接近或从零训练恢复的模型。实证上,我们在四个数据集、三种联邦学习方法以及无目标和有目标投毒攻击(如后门攻击)上的评估表明 FedRecover 既准确又高效。

关键词

引用

@article{arxiv.2210.10936,
  title  = {FedRecover: Recovering from Poisoning Attacks in Federated Learning using Historical Information},
  author = {Xiaoyu Cao and Jinyuan Jia and Zaixi Zhang and Neil Zhenqiang Gong},
  journal= {arXiv preprint arXiv:2210.10936},
  year   = {2022}
}

备注

To appear in IEEE S&P 2023