刻画联邦学习中异质性基于大规模智能手机数据的影响
机器学习
2021-03-15 v4 分布式、并行与集群计算
机器学习
摘要
联邦学习（FL）是一种新兴的隐私保护机器学习范式，在学术界和工业界均引起了极大关注。FL 的一个独特特征是异质性，它存在于参与设备的各种硬件规格和动态状态中。理论上，异质性会对 FL 训练过程产生巨大影响，例如导致设备无法用于训练或无法上传其模型更新。遗憾的是，现有 FL 文献从未对这些影响进行系统研究和量化。在本文中，我们开展了首项刻画 FL 中异质性影响的实证研究。我们从 13.6 万部智能手机收集了能真实反映真实世界环境中异质性的大规模数据。我们还构建了一个符合标准 FL 协议但考虑异质性的异质性感知 FL 平台。基于该数据和平台，我们进行了大量实验，比较最先进 FL 算法在异质性感知与异质性无感知设置下的性能。结果表明，异质性导致 FL 中不可忽视的性能下降，包括高达 9.2% 的准确率下降、2.32 倍的训练时间延长以及公平性受损。此外，我们分析了潜在影响因素，发现设备失效和参与者偏差是性能下降的两个潜在因素。我们的研究为 FL 实践者提供了深刻启示。一方面，我们的发现建议 FL 算法设计者在评估时考虑必要的异质性。另一方面，我们的发现敦促系统提供者设计特定机制以缓解异质性的影响。
引用
@article{arxiv.2006.06983,
title = {Characterizing Impacts of Heterogeneity in Federated Learning upon Large-Scale Smartphone Data},
author = {Chengxu Yang and Qipeng Wang and Mengwei Xu and Zhenpeng Chen and Kaigui Bian and Yunxin Liu and Xuanzhe Liu},
journal= {arXiv preprint arXiv:2006.06983},
year = {2021}
}