FedPAQ：一种具有周期性平均与量化的通信高效联邦学习方法
机器学习
2020-06-09 v4 分布式、并行与集群计算
最优化与控制
机器学习
摘要
联邦学习是一种分布式框架，根据该框架，模型在一组设备上进行训练，同时保持数据本地化。该框架面临若干面向系统的挑战，包括：(i) 通信瓶颈，因为大量设备将其本地更新上传至参数服务器；(ii) 可扩展性，因为联邦网络由数百万台设备组成。由于这些系统挑战以及与数据统计异构性和隐私问题相关的议题，设计一种可证明高效的联邦学习方法具有重要意义，但这仍然具有挑战性。在本文中，我们提出 FedPAQ，一种具有周期性平均与量化的通信高效联邦学习（Federated Learning）方法。FedPAQ 依赖于三个关键特性：(1) 周期性平均，即模型在设备端本地更新，仅周期性地在服务器端平均；(2) 部分设备参与，即每轮训练只有一部分设备参与；(3) 量化消息传递，即边缘节点在上传至参数服务器之前对其更新进行量化。这些特性解决了联邦学习中的通信与可扩展性挑战。我们还表明，FedPAQ 对于强凸和非凸损失函数取得了近最优的理论保证，并通过实验证明了我们的方法所提供的通信-计算权衡。
引用
@article{arxiv.1909.13014,
title = {FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization},
author = {Amirhossein Reisizadeh and Aryan Mokhtari and Hamed Hassani and Ali Jadbabaie and Ramtin Pedarsani},
journal= {arXiv preprint arXiv:1909.13014},
year = {2020}
}