AdaBest：通过自适应偏差估计最小化联邦学习中的客户端漂移
机器学习
2023-07-25 v4 人工智能
计算机视觉与模式识别
分布式、并行与集群计算
多智能体系统
摘要
在联邦学习（FL）中，多个客户端或设备协作训练模型而不共享其数据。模型在每个客户端本地优化，并进一步传送到中心枢纽进行聚合。虽然 FL 是一种吸引人的去中心化训练范式，但不同客户端数据的异质性可能导致本地优化偏离全局目标。为了估计并进而消除这种漂移，方差缩减技术近来被引入 FL 优化中。然而，这些方法不准确地估计客户端的漂移，最终未能妥善消除它。在本工作中，我们提出一种自适应算法，可准确估计跨客户端的漂移。与先前工作相比，我们的方法需要更少的存储与通信带宽，以及更低的计算成本。此外，我们提出的方法通过约束客户端漂移估计的范数来诱导稳定性，使其更适用于大规模 FL。实验结果表明，所提算法在各种 FL 基准上比基线收敛显著更快且达到更高精度。
引用
@article{arxiv.2204.13170,
title = {AdaBest: Minimizing Client Drift in Federated Learning via Adaptive Bias Estimation},
author = {Farshid Varno and Marzie Saghayi and Laya Rafiee Sevyeri and Sharut Gupta and Stan Matwin and Mohammad Havaei},
journal= {arXiv preprint arXiv:2204.13170},
year = {2023}
}
备注
Published as a conference paper at ECCV 2022; Corrected some typos in the text and a baseline algorithm