带缓冲异步聚合的联邦学习中无界梯度分析
机器学习
2022-10-21 v1 人工智能
分布式、并行与集群计算
最优化与控制
机器学习
摘要
一旦活跃客户端数量增加,同步更新可能会损害跨设备联邦学习的效率。\textit{FedBuff}算法(Nguyen等人,2022)通过允许异步更新(陈旧性)缓解了这一问题,在通过安全聚合保护隐私的同时增强了训练的可扩展性。我们重新审视用于异步联邦学习的\textit{FedBuff}算法,并通过去除梯度范数的有界性假设扩展了现有分析。本文在考虑数据、批大小和延迟的异构性时,给出了该算法收敛速度的理论分析。
引用
@article{arxiv.2210.01161,
title = {Unbounded Gradients in Federated Learning with Buffered Asynchronous Aggregation},
author = {Mohammad Taha Toghani and César A. Uribe},
journal= {arXiv preprint arXiv:2210.01161},
year = {2022}
}