Papaya：实用、隐私且可扩展的联邦学习
机器学习
2022-04-27 v2 分布式、并行与集群计算
摘要
跨设备联邦学习（FL）是一种分布式学习范式，具有若干区别于传统分布式学习的挑战，其中每个设备的系统特征差异以及数百万客户端与中央服务器协调是主要挑战。文献中描述的大多数 FL 系统是同步的——它们对来自各个客户端的模型更新执行同步聚合。扩展同步 FL 具有挑战性，因为并行训练的客户端数量增加会导致训练速度收益递减，类似于大批量训练。此外，掉队者阻碍同步 FL 训练。在这项工作中，我们概述了一个生产级异步 FL 系统设计。我们的工作解决了上述问题，勾勒了部分系统设计挑战及其解决方案的草图，并触及了从为数百万客户端构建生产级 FL 系统中所浮现的原则。通过实验，我们证明当在近一亿台设备上进行训练时，异步 FL 比同步 FL 收敛更快。特别是在高并发设置下，异步 FL 快 5 倍，且通信开销比同步 FL 少近 8 倍。
引用
@article{arxiv.2111.04877,
title = {Papaya: Practical, Private, and Scalable Federated Learning},
author = {Dzmitry Huba and John Nguyen and Kshitiz Malik and Ruiyu Zhu and Mike Rabbat and Ashkan Yousefpour and Carole-Jean Wu and Hongyuan Zhan and Pavel Ustinov and Harish Srinivas and Kaikai Wang and Anthony Shoumikhin and Jesik Min and Mani Malek},
journal= {arXiv preprint arXiv:2111.04877},
year = {2022}
}