基于非独立同分布数据的鲁棒且通信高效的联邦学习
机器学习
2019-03-08 v1 人工智能
分布式、并行与集群计算
机器学习
摘要
联邦学习允许多方在其合并数据上联合训练深度学习模型，而无需任何参与者向中心服务器泄露本地数据。然而，这种隐私保护的协作学习以训练期间显著的通信开销为代价。为解决该问题，分布式训练文献中已提出若干压缩方法，可将所需通信量减少多达三个数量级。但这些现有方法在联邦学习设定中效用有限，因为它们要么仅压缩从客户端到服务器的上行通信(下行通信未压缩)，要么仅在理想条件下(如客户端数据的 iid 分布，而联邦学习中通常不具备)表现良好。本工作中，我们提出稀疏三元压缩(STC)，一种专门设计以满足联邦学习环境需求的新压缩框架。我们在四项不同学习任务上的实验表明，在客户端 a)持有非 iid 数据、b)训练中使用小批量大小、或 c)客户端数量大且每轮通信参与率低的常见联邦学习场景中，STC 明显优于联邦平均(Federated Averaging)。我们进一步表明，即便客户端持有 iid 数据并使用中等大小批量训练，STC 仍相对于联邦平均具有帕累托优势，即在更少训练迭代与更小通信预算内于我们的基准上达到固定目标精度。
引用
@article{arxiv.1903.02891,
title = {Robust and Communication-Efficient Federated Learning from Non-IID Data},
author = {Felix Sattler and Simon Wiedemann and Klaus-Robert Müller and Wojciech Samek},
journal= {arXiv preprint arXiv:1903.02891},
year = {2019}
}
备注
17 pages, 16 figures