DELTA：用于加速联邦学习的多样化客户端采样
机器学习
2023-10-31 v4
摘要
部分客户端参与已被广泛应用于联邦学习（FL）中以高效降低通信负担。然而，不充分的客户端采样方案可能导致选取不具代表性的子集，从而引发模型更新的显著方差并减缓收敛。现有采样方法要么存在偏差，要么可进一步优化以实现更快收敛。本文提出 DELTA，一种旨在缓解这些问题的无偏采样方案。DELTA 刻画了客户端多样性与本地方差的影响，并采样对全局模型更新具有有价值信息的代表性客户端。此外，DELTA 是被证明可最小化由部分客户端参与引起方差的最优无偏采样方案，并在收敛性上优于其他无偏采样方案。进一步地，为解决全客户端梯度依赖问题，我们提供了依赖于可用客户端信息的 DELTA 实用版本，并分析了其收敛性。我们的结果通过在合成与真实世界数据集上的实验得到验证。
引用
@article{arxiv.2205.13925,
title = {DELTA: Diverse Client Sampling for Fasting Federated Learning},
author = {Lin Wang and YongXin Guo and Tao Lin and Xiaoying Tang},
journal= {arXiv preprint arXiv:2205.13925},
year = {2023}
}
备注
Accepted by Thirty-seventh Conference on Neural Information Processing Systems (NeurIPS 2023)