在联邦学习中从落后客户端学习
机器学习
2024-03-15 v1
摘要
现有的联邦学习算法在从返回模型更新存在显著时间延迟的客户端设备学习时效果如何？甚至有可能从被调度后几分钟、几小时或几天才报告的客户端进行有效学习吗？我们通过开发由现实世界应用指导的客户端延迟蒙特卡洛模拟来回答这些问题。我们研究了像 FedAvg 和 FedAdam 这样的同步优化算法以及异步 FedBuff 算法，并观察到所有这些现有方法都难以从严重延迟的客户端学习。为了改善这种情况，我们进行了修改实验，包括蒸馏正则化和模型权重的指数移动平均。最后，我们分别基于蒸馏和平均引入了两种新算法 FARe-DUST 和 FeAST-on-MSG。在 EMNIST、CIFAR-100 和 StackOverflow 基准联邦学习任务上的实验表明，我们的新算法在落后客户端的准确性方面优于现有算法，同时在训练时间和总体准确性之间提供了更好的权衡。
引用
@article{arxiv.2403.09086,
title = {Learning from straggler clients in federated learning},
author = {Andrew Hard and Antonious M. Girgis and Ehsan Amid and Sean Augenstein and Lara McConnaughey and Rajiv Mathews and Rohan Anil},
journal= {arXiv preprint arXiv:2403.09086},
year = {2024}
}