中文

在联邦学习中利用空闲客户端以实现聚焦式模型增强

机器学习 2023-10-10 v1 人工智能

摘要

联邦学习(FL)是一种在分散异构数据上学习模型的分布式机器学习方法,无需客户端共享其数据。许多现有 FL 方法假定所有客户端同等重要,并基于所有客户端构建全局目标。我们考虑一种称为优先 FL 的 FL 版本,其目标是学习一个指定为优先客户端的子集的加权平均目标。一个重要问题随之产生:我们如何选取并激励契合良好的非优先客户端参与联邦,同时摒弃错位的客户端?我们提出 FedALIGN(融合全局需求包含的联邦自适应学习)以应对该挑战。该算法采用匹配策略,依据非优先客户端数据上的模型损失与全局数据上的模型损失之相似度来选取非优先客户端,从而仅当非优先客户端梯度对优先客户端有益时才加以利用。该方法确保了互利:非优先客户端在模型其数据上表现满意时受激励加入,而优先客户端可在目标一致时利用其更新与计算资源。我们给出了量化客户端选择与共收敛速度之间权衡的收敛分析。我们的算法在各种合成与基准数据集上比基线展现出更快收敛与更高测试精度。

关键词

引用

@article{arxiv.2310.04515,
  title  = {Utilizing Free Clients in Federated Learning for Focused Model Enhancement},
  author = {Aditya Narayan Ravi and Ilan Shomorony},
  journal= {arXiv preprint arXiv:2310.04515},
  year   = {2023}
}

备注

26 pages, 6 figures