Auxo：通过可扩展客户端聚类实现高效联邦学习
机器学习
2023-10-03 v2 分布式、并行与集群计算
摘要
联邦学习（FL）是一种新兴的机器学习（ML）范式，它使异构边缘设备能够协作训练 ML 模型，而无需将其原始数据暴露给逻辑上集中式的服务器。然而，除了异构的设备能力外，FL 参与者在其数据分布上往往表现出差异，这些分布并非独立同分布（Non-IID）。许多现有工作提出了针对性解决方案，以解决由客户端异构性引起的 FL 中收敛缓慢、最终精度低和偏差等问题。在本文中，我们通过将具有统计相似数据分布（队列）的客户端分组，来探索缓解此类异构性的额外一层复杂性。我们提出 Auxo，以在大规模、低可用性和资源受限的 FL 群体中逐步识别此类队列。然后，Auxo 自适应地决定如何训练特定于队列的模型，以实现更好的模型性能并确保资源效率。我们广泛的评估表明，通过识别异构性更小的队列并执行高效的基于队列的训练，Auxo 在最终精度（2.1%–8.2%）、收敛时间（高达 2.2 倍）和模型偏差（4.8%–53.8%）方面提升了多种现有 FL 解决方案。
引用
@article{arxiv.2210.16656,
title = {Auxo: Efficient Federated Learning via Scalable Client Clustering},
author = {Jiachen Liu and Fan Lai and Yinwei Dai and Aditya Akella and Harsha Madhyastha and Mosharaf Chowdhury},
journal= {arXiv preprint arXiv:2210.16656},
year = {2023}
}
备注
18 pages