通过降低客户端资源需求拓展联邦学习的应用范围
机器学习
2019-01-09 v2 分布式、并行与集群计算
机器学习
摘要
异构边缘网络上的通信是联邦学习(FL)的基本瓶颈，限制了模型容量和用户参与。为解决此问题，我们引入两种降低通信成本的新策略：(1) 对服务器发往客户端的全局模型使用有损压缩；(2) 联邦丢弃(Federated Dropout)，它允许用户高效地在全局模型的较小子集上本地训练，并同时减少客户端到服务器通信和本地计算。我们通过实证表明，这些策略与现有的客户端到服务器通信压缩方法相结合，共同带来服务器到客户端通信至多 的降低、本地计算 的降低，以及上传通信 的降低，且均不损害最终模型的质量。因此我们全面降低了 FL 对客户端设备资源的影响，使得可训练更高容量的模型，并触达更多样化的用户群体。
引用
@article{arxiv.1812.07210,
title = {Expanding the Reach of Federated Learning by Reducing Client Resource Requirements},
author = {Sebastian Caldas and Jakub Konečny and H. Brendan McMahan and Ameet Talwalkar},
journal= {arXiv preprint arXiv:1812.07210},
year = {2019}
}