在任意设备不可用情况下的快速联邦学习
机器学习
2021-06-09 v1 最优化与控制
摘要
联邦学习(Federated Learning, FL)协调大量异构设备协作训练共享模型,同时保护用户隐私。尽管具有诸多优势,FL 仍面临新的挑战。当设备脱离训练过程且不受中心服务器控制时,便产生了一个挑战。在这种情况下,诸如 FedAvg 等流行 FL 算法的收敛性受到掉队设备的严重影响。为应对该挑战,我们研究任意设备不可用下的联邦学习算法,并提出一种名为记忆增强型不耐烦联邦平均(Memory-augmented Impatient Federated Averaging, MIFA)的算法。我们的算法有效避免了由不活跃设备引起的过度延迟,并利用记忆的设备最新更新来纠正梯度偏差。我们证明 MIFA 在强凸和非凸光滑函数上均对非独立同分布(non-i.i.d.)数据达到极小极大最优收敛速率。我们还通过案例研究明确刻画了相对于基线算法的改进,并在真实世界数据集上通过数值实验验证了结果。
引用
@article{arxiv.2106.04159,
title = {Fast Federated Learning in the Presence of Arbitrary Device Unavailability},
author = {Xinran Gu and Kaixuan Huang and Jingzhao Zhang and Longbo Huang},
journal= {arXiv preprint arXiv:2106.04159},
year = {2021}
}