FLTrust:通过信任引导的拜占庭鲁棒联邦学习
密码学与安全
2022-04-13 v3 人工智能
分布式、并行与集群计算
摘要
拜占庭鲁棒联邦学习旨在使服务提供商在有限数量客户端恶意的情况下学习到准确的全局模型。现有拜占庭鲁棒联邦学习方法的核心理念是,服务提供商在聚合客户端本地模型更新前,对其做统计分析并剔除可疑更新。然而,恶意客户端仍可通过向服务提供商发送精心构造的本地模型更新来破坏这些方法的全局模型。其根本原因在于现有联邦学习方法缺乏信任根。本文提出FLTrust弥补该缺陷,这是一种由服务提供商自身引导信任的新联邦学习方法。具体而言,服务提供商自身为学习任务收集干净的小型训练数据集(称为根数据集),并基于其维护一个模型(称为服务器模型)以引导信任。每轮迭代中,服务提供商首先为各客户端本地模型更新分配信任分数:若某本地模型更新方向与服务器模型更新方向偏离越大,其信任分数越低。随后,服务提供商对本地模型更新的幅值进行归一化,使其与服务器模型更新位于向量空间中的同一超球面上。该归一化限制了大幅值恶意本地模型更新的影响。最后,服务提供商计算按信任分数加权的归一化本地模型更新平均值作为全局模型更新,并用于更新全局模型。我们在六个不同领域数据集上的广泛评估表明,FLTrust对现有攻击及强自适应攻击均安全。
引用
@article{arxiv.2012.13995,
title = {FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping},
author = {Xiaoyu Cao and Minghong Fang and Jia Liu and Neil Zhenqiang Gong},
journal= {arXiv preprint arXiv:2012.13995},
year = {2022}
}
备注
Appeared in NDSS 2021. For demo code, see https://people.duke.edu/~zg70/code/fltrust.zip . For slides, see https://people.duke.edu/~zg70/code/Secure_Federated_Learning.pdf . For the talk, see https://www.youtube.com/watch?v=LP4uqW18yA0