关于联邦学习中的大客户端群组训练
机器学习
2021-06-16 v1 分布式、并行与集群计算
摘要
联邦学习方法通常通过从客户端群体中迭代采样更新来学习模型。在这项工作中，我们探究了每轮采样的客户端数量（群组规模）如何影响所学模型的质量以及联邦学习算法的训练动态。我们的工作提出了三个基本问题。第一，当试图将联邦学习扩展到更大群组时会遇到哪些挑战？第二，联邦学习中的群组规模与集中式学习中的批大小之间存在哪些相似之处？最后，我们如何设计能够有效利用更大群组规模的联邦学习方法？我们基于广泛的实证评估对这些问题的部分答案进行了阐述。我们的工作凸显了由使用更大群组引发的一系列挑战。其中一些（如泛化问题和收益递减）类似于大批量训练的挑战，而另一些（包括训练失败和公平性问题）则是联邦学习所特有的。
引用
@article{arxiv.2106.07820,
title = {On Large-Cohort Training for Federated Learning},
author = {Zachary Charles and Zachary Garrett and Zhouyuan Huo and Sergei Shmulyian and Virginia Smith},
journal= {arXiv preprint arXiv:2106.07820},
year = {2021}
}