联邦学习中的最优客户端采样
机器学习
2022-08-23 v3 分布式、并行与集群计算
摘要
众所周知，客户端与主控节点间的通信可能是联邦学习中的主要瓶颈。在本工作中，我们通过一种新颖的客户端子采样方案来解决此问题，该方案限制允许将其更新传回主控节点的客户端数量。在每一通信轮中，所有参与客户端计算其更新，但仅有具有“重要”更新的客户端传回主控节点。我们表明重要性可仅用更新的范数度量，并给出最优客户端参与公式。该公式最小化全量更新（所有客户端均参与）与我们的受限更新（参与客户端数量受限）之间的距离。此外，我们提供一种近似最优客户端参与公式的简单算法，其仅需安全聚合，因此不损害客户端隐私。我们从理论和经验上表明，对于分布式SGD（DSGD）和联邦平均（FedAvg），我们方法的性能可接近全量参与，并优于均匀采样参与客户端的基线。此外，我们的方法与现有降低通信开销的方法（如本地方法和通信压缩方法）正交且兼容。
引用
@article{arxiv.2010.13723,
title = {Optimal Client Sampling for Federated Learning},
author = {Wenlin Chen and Samuel Horvath and Peter Richtarik},
journal= {arXiv preprint arXiv:2010.13723},
year = {2022}
}
备注
Published in Transactions on Machine Learning Research, code available: https://github.com/SamuelHorvath/FL-optimal-client-sampling