DeFTA:一种即插即用的 FedAvg 去中心化替代方案
分布式、并行与集群计算
2022-04-07 v1 人工智能
摘要
联邦学习(FL)被认为是不需共享本地原始数据集的大规模分布式机器学习(ML)的关键赋能技术,大幅降低了隐私担忧并缓解了数据孤岛问题。实际上,FL 的繁荣很大程度上归功于称为 FedAvg 的中心化框架,其中工人负责模型训练而服务器控制模型聚合。然而,FedAvg 的中心化工人-服务器架构引发了新的担忧,无论是集群的低可扩展性、数据泄露风险,还是中心服务器的故障甚至叛变。为克服这些问题,我们提出去中心化联邦可信平均(DeFTA),一种去中心化 FL 框架,作为 FedAvg 的即插即用替代方案,安装后即刻为联邦学习过程带来更好的安全性、可扩展性与容错性。原则上,它从架构角度从根本上无妥协或权衡地解决了上述问题,主要由一个带有理论性能分析的新模型聚合公式,以及一个极大提升系统鲁棒性的去中心化信任系统(DTS)构成。需注意由于 DeFTA 是在框架层面对 FedAvg 的替代,\textit{已发布的面向 FedAvg 的流行算法也可轻松用于 DeFTA}。在六个数据集与六个基础模型上的大量实验表明,DeFTA 不仅在更现实设定下具有与 FedAvg 相当的性能,而且即使在 66% 工人为恶意时仍实现极强韧性。此外,我们还给出了 DeFTA 的异步变体以赋予其更强大的可用性。
引用
@article{arxiv.2204.02632,
title = {DeFTA: A Plug-and-Play Decentralized Replacement for FedAvg},
author = {Yuhao Zhou and Minjia Shi and Yuxin Tian and Qing Ye and Jiancheng Lv},
journal= {arXiv preprint arXiv:2204.02632},
year = {2022}
}
备注
12 pages, 5 figures