并非所有联邦学习算法都生而平等：一项性能评估研究
机器学习
2024-03-27 v1 分布式、并行与集群计算
摘要
联邦学习（FL）作为一种从去中心化数据训练模型的实用方法应运而生。FL 的普及导致了众多 FL 算法和机制的发展。许多先前的工作主要关注这些方法的准确性，但对其他方面（如计算开销、性能和训练稳定性等）了解甚少。为弥补这一差距，我们利用一个名为 Flame 的开源联邦学习框架，对几种典型的 FL 算法（FedAvg、FedProx、FedYogi、FedAdam、SCAFFOLD 和 FedDyn）进行了广泛的性能评估。我们全面的测量研究表明，没有单一算法能在不同性能指标上都表现最佳。几个关键观察结果是：(1) 虽然一些前沿算法比其他算法实现了更高的准确性，但它们会带来更高的计算开销（FedDyn）或通信开销（SCAFFOLD）。(2) 最近的算法在客户端间的准确性标准差比 FedAvg 更小，表明先进算法的性能是稳定的。(3) 然而，像 FedDyn 和 SCAFFOLD 这样的算法，在没有梯度裁剪等额外技术支持的情况下，更容易发生灾难性故障。我们希望我们的实证研究能帮助社区建立评估 FL 算法的最佳实践。
引用
@article{arxiv.2403.17287,
title = {Not All Federated Learning Algorithms Are Created Equal: A Performance Evaluation Study},
author = {Gustav A. Baumgart and Jaemin Shin and Ali Payani and Myungjin Lee and Ramana Rao Kompella},
journal= {arXiv preprint arXiv:2403.17287},
year = {2024}
}