应对异构和非平稳客户端不可用性的高效联邦学习
分布式、并行与集群计算
2024-11-01 v2 机器学习
最优化与控制
摘要
解决间歇性客户端可用性问题对于联邦学习算法的实际部署至关重要。以往的大多数工作要么忽略了客户端不可用性动态中潜在的非平稳性，要么需要大量的内存/计算开销。我们研究了在异构和非平稳客户端可用性情况下的联邦学习，这种情况可能发生在部署环境不确定或客户端移动的场景中。我们使用最广泛采用的联邦学习算法FedAvg说明了异构性和非平稳性对客户端不可用性的影响可能很大。我们提出了FedAPM，其包含新颖的算法结构，能够：(i) 仅以相对于标准FedAvg的O(1)额外内存和计算量来补偿因不可用性而错过的计算；(ii) 尽管对非平稳动态不可知，仍能通过隐式八卦机制在联邦学习系统内均匀扩散局部更新。我们证明了FedAPM即使对于非凸目标也能收敛到稳定点，同时实现所需的线性加速特性。我们通过在真实数据集上针对各种客户端不可用性动态进行的数值实验，证实了我们的分析。
引用
@article{arxiv.2409.17446,
title = {Efficient Federated Learning against Heterogeneous and Non-stationary Client Unavailability},
author = {Ming Xiang and Stratis Ioannidis and Edmund Yeh and Carlee Joe-Wong and Lili Su},
journal= {arXiv preprint arXiv:2409.17446},
year = {2024}
}
备注
NeurIPS 2024