SAFA：一种低开销快速联邦学习的半异步协议
分布式、并行与集群计算
2021-04-26 v4 机器学习
摘要
联邦学习（FL）作为一种以人工智能驱动海量终端设备的前景可观的方法，已引起越来越多的关注。然而，考虑到终端设备的不可靠特性以及设备-服务器通信开销不可忽视，保证 FL 的效率极具挑战性。在本文中，我们提出 SAFA，一种半异步 FL 协议，以解决联邦学习中的低轮次效率与极端条件下（例如客户端频繁掉线）较差收敛率等问题。我们在模型分发、客户端选择与全局聚合步骤中引入新颖设计，以减轻掉队者、崩溃与模型陈旧性的影响，从而提升效率并改善全局模型质量。我们利用典型的机器学习任务进行了大量实验。结果表明，所提协议在缩短联邦轮次时长、减少本地资源浪费以及以可接受通信成本提升全局模型精度方面是有效的。
引用
@article{arxiv.1910.01355,
title = {SAFA: a Semi-Asynchronous Protocol for Fast Federated Learning with Low Overhead},
author = {Wentai Wu and Ligang He and Weiwei Lin and Rui Mao and Carsten Maple and Stephen Jarvis},
journal= {arXiv preprint arXiv:1910.01355},
year = {2021}
}
备注
16 pages, 8 figures