联邦学习中的设备异构性：一种超分位数方法
机器学习
2023-08-04 v1 分布式、并行与集群计算
机器学习
最优化与控制
摘要
我们提出一种联邦学习框架来处理不符合总体数据分布的异构客户端设备。该方法依赖于基于参数化超分位数(superquantile)的目标，其中参数在一致性水平范围内变化。我们给出了一种优化算法并确立了其到平稳点的收敛性。我们展示了如何通过使用安全聚合实际实现它，将通常的联邦平均方法的迭代与设备过滤交错进行。我们以对神经网络以及来自计算机视觉和自然语言处理任务的线性模型的数值实验作为结束。
引用
@article{arxiv.2002.11223,
title = {Device Heterogeneity in Federated Learning: A Superquantile Approach},
author = {Yassine Laguel and Krishna Pillutla and Jérôme Malick and Zaid Harchaoui},
journal= {arXiv preprint arXiv:2002.11223},
year = {2023}
}