论设备与行为异构性在联邦学习中的影响
机器学习
2021-02-16 v1 分布式、并行与集群计算
性能
摘要
联邦学习（FL）正成为一种流行的范式，用于在互不信任的实体所拥有的分布式私有数据集上进行协作学习。FL 已在生产环境中成功部署，并被用于虚拟键盘、自动补全、物品推荐以及若干物联网应用等服务中。然而，FL 面临一项挑战：要在很大程度上异质的、不受集中式 FL 服务器控制的数据集、设备和网络上执行训练。受此固有设置的驱动，我们迈出了表征设备与行为异构性对训练模型影响的第一步。我们开展了一项广泛的实证研究，在五个流行 FL 基准上涵盖近 1.5K 种唯一配置。我们的分析表明，这些异构性来源对模型性能与公平性均有重大影响，从而揭示了在 FL 系统设计中考虑异构性的重要性。
引用
@article{arxiv.2102.07500,
title = {On the Impact of Device and Behavioral Heterogeneity in Federated Learning},
author = {Ahmed M. Abdelmoniem and Chen-Yu Ho and Pantelis Papageorgiou and Muhammad Bilal and Marco Canini},
journal= {arXiv preprint arXiv:2102.07500},
year = {2021}
}