利用全局偏置优化器加速联邦学习
机器学习
2022-10-07 v3 分布式、并行与集群计算
摘要
联邦学习（FL）是分布式机器学习的最新进展，可在训练数据不离开客户端设备的情况下协同训练模型，保护数据隐私。在真实世界 FL 中，训练集以高度非独立同分布（non-IID）方式分布于客户端，损害模型收敛速度与最终性能。为应对此挑战，我们提出一种新颖的通用方法，通过联邦全局偏置优化器（FedGBO）算法将自适应优化引入 FL。FedGBO 在训练中使用一组全局偏置优化器值来加速 FL，在从 non-IID 数据减少“客户端漂移”的同时受益于自适应优化。我们表明在 FedGBO 中，对全局模型的更新可重构为使用偏置梯度和优化器更新的集中式训练，并应用该框架证明在使用动量-SGD（SGDm）优化器时 FedGBO 在非凸目标上的收敛性。我们还使用 4 个 FL 基准数据集（CIFAR100、Sent140、FEMNIST、Shakespeare）和 3 个流行优化器（SGDm、RMSProp、Adam）开展大量实验，将 FedGBO 与六种最先进 FL 算法比较。结果表明 FedGBO 在各数据集上表现出优于或具竞争力的性能，同时具有较低数据上传与计算成本，并为不同自适应 FL 算法与优化器间的权衡提供实用见解。
引用
@article{arxiv.2108.09134,
title = {Accelerating Federated Learning with a Global Biased Optimiser},
author = {Jed Mills and Jia Hu and Geyong Min and Rui Jin and Siwei Zheng and Jin Wang},
journal= {arXiv preprint arXiv:2108.09134},
year = {2022}
}