DeFL：面向跨机构联邦学习的去中心化权重聚合框架
机器学习
2022-08-02 v1
摘要
联邦学习（FL）是一种新兴且有前景的隐私保护机器学习（ML）范式。FL的一种重要类型是跨机构FL，它使少量组织能够通过将机密数据保留在本地并在中心参数服务器上聚合权重来协作训练共享模型。然而，中心服务器在实践中易受恶意攻击或软件故障的影响。为解决此问题，本文提出DeFL，一种面向跨机构FL的新型去中心化权重聚合框架。DeFL通过在每个参与节点上聚合权重来消除中心服务器，且仅保留并同步所有节点间当前训练轮的权重。我们使用Multi-Krum从诚实节点聚合正确权重，并使用HotStuff确保所有节点的训练轮次与权重一致性。此外，我们从理论上分析了DeFL的拜占庭容错性、收敛性和复杂度。我们在两个广泛使用的公开数据集CIFAR-10和Sentiment140上进行了大量实验以评估DeFL的性能。结果表明，与最先进的去中心化FL方法相比，DeFL以最小的精度损失抵御常见威胁模型，并将存储开销降低至多100倍、网络开销降低至多12倍。
引用
@article{arxiv.2208.00848,
title = {DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning},
author = {Jialiang Han and Yudong Han and Gang Huang and Yun Ma},
journal= {arXiv preprint arXiv:2208.00848},
year = {2022}
}