一种改进的聚类联邦学习算法
机器学习
2022-10-24 v1 分布式、并行与集群计算
信息论
机器学习
math.IT
摘要
本文通过聚类框架解决联邦学习（FL）中异构模型与同步训练之间的两难问题。我们基于用户的最优局部模型为 FL 定义了一种新的聚类模型：若两用户的局部模型相近，则属于同一簇；否则属于不同簇。\cite{ghosh_efficient_2021} 提出了一种称为 \texttt{IFCA} 的聚类 FL 标准算法，其需要合适的初始化以及簇数等超参数的已知（在实际应用中往往难以获取）才能收敛。我们提出了一种改进算法，即逐次精炼联邦聚类算法（\texttt{SR-FCA}），去除了此类限制性假设。\texttt{SR-FCA} 将每个用户初始化为单元素簇，随后通过利用属于同一簇的相似用户逐次精炼簇估计。在任何中间步骤，\texttt{SR-FCA} 在每个簇内使用鲁棒联邦学习算法以利用同步训练并纠正聚类错误。此外，\texttt{SR-FCA} 在理论与实践中均不需要任何好的初始化（热启动）。我们证明，在适当选择学习率时，\texttt{SR-FCA} 产生的聚类误差可任意小。另外，我们在神经网络等非凸问题的标准 FL 数据集上验证了算法性能，并展示了 \texttt{SR-FCA} 相对于基线的优势。
引用
@article{arxiv.2210.11538,
title = {An Improved Algorithm for Clustered Federated Learning},
author = {Harshvardhan and Avishek Ghosh and Arya Mazumdar},
journal= {arXiv preprint arXiv:2210.11538},
year = {2022}
}