联邦学习在混合回归问题上的全局收敛性
机器学习
2022-06-16 v1 分布式、并行与集群计算
摘要
本文研究当客户端呈现簇结构时联邦学习下的模型训练问题。我们将此问题置于混合回归背景下，其中每个客户端拥有由 个未知回归模型之一生成的有限本地数据。我们设计了一种从任意初始化均可实现全局收敛的算法，且即便本地数据量高度不平衡也有效——可能存在仅含 个数据点的客户端。我们的算法首先在若干锚定客户端（每个含 个数据点）上运行矩下降以获得粗粒度模型估计；随后每个客户端交替估计其簇标签并基于 FedAvg 或 FedProx 精炼模型估计。我们分析中的一个关键创新是对聚类误差的一致估计，我们通过基于代数几何理论界定一般多项式概念类的 VC 维证明了这一点。
引用
@article{arxiv.2206.07279,
title = {Global Convergence of Federated Learning for Mixed Regression},
author = {Lili Su and Jiaming Xu and Pengkun Yang},
journal= {arXiv preprint arXiv:2206.07279},
year = {2022}
}