联邦学习中的客户端选择：收敛分析及选择优势策略
机器学习
2020-10-06 v1 分布式、并行与集群计算
机器学习
摘要
联邦学习是一种分布式优化范式，使大量资源受限的客户端节点能够协作训练模型而无需数据共享。若干工作已通过考虑数据异构性、通信与计算限制以及部分客户端参与，分析了联邦学习的收敛性。然而，它们假设无偏客户端参与，即客户端随机选取或按其数据量比例选取。本文中，我们首次给出有偏客户端选择策略下联邦优化的收敛分析，并量化选择偏差如何影响收敛速度。我们揭示，将客户端选择偏向于具有更高本地损失的客户端可实现更快的误差收敛。利用该洞见，我们提出选择优势（Power-of-Choice），一种通信与计算高效的客户端选择框架，可灵活权衡收敛速度与解偏差。我们的实验表明，选择优势策略比基线随机选择的收敛快达 3 ，且测试准确率高 %。
引用
@article{arxiv.2010.01243,
title = {Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies},
author = {Yae Jee Cho and Jianyu Wang and Gauri Joshi},
journal= {arXiv preprint arXiv:2010.01243},
year = {2020}
}