通过压缩与重要性采样改进加速联邦学习
机器学习
2023-06-07 v1
摘要
联邦学习是一种协作训练框架，利用分布在大量客户端上的异构数据。由于在聚合步骤中请求和处理所有客户端在实践中不可行，因此必须支持部分参与。在此设置下，服务器与客户端之间的通信构成了主要瓶颈。为降低通信负载，主要有两种方法：压缩与本地步数。Mishchenko 等人 [2022] 近期提出的 ProxSkip 新方法利用本地步数技术实现了加速收敛。后续工作成功地将本地步数加速与部分参与 [Grudzień 等人, 2023; Condat 等人, 2023] 以及梯度压缩 [Condat 等人, 2022] 相结合。在本文中，我们最终提出了一种包含全部必要组件的联邦学习完整方法：本地训练、压缩与部分参与。我们在所考虑的设置下获得了最先进的收敛保证。此外，我们分析了部分参与的通用采样框架，并推导出一种重要性采样方案，从而带来更优的性能。我们通过实验证明了所提方法在实践中的优势。
引用
@article{arxiv.2306.03240,
title = {Improving Accelerated Federated Learning with Compression and Importance Sampling},
author = {Michał Grudzień and Grigory Malinovsky and Peter Richtárik},
journal= {arXiv preprint arXiv:2306.03240},
year = {2023}
}
备注
33 pages, 3 algorithms, 1 figure