面向非独立同分布数据的边缘设备异步在线联邦学习
分布式、并行与集群计算
2020-10-22 v3 机器学习
摘要
联邦学习（FL）是一种机器学习范式，其中共享的中央模型在分布式边缘设备上学习，而训练数据保留在这些设备上。联邦平均（FedAvg）是在此设置下通过同步协议训练非凸模型的主要优化方法。然而，鉴于设备的异构性，FedAvg所做的假设并不现实。特别是，由于边缘设备不同的采样率，收集数据的量与分布在训练过程中变化。边缘设备本身在其可用通信带宽与系统配置（如内存、处理器速度和功耗需求）方面也存在差异。这导致训练时间以及模型/数据传输时间大不相同。此外，边缘设备的可用性问题可能导致特定边缘设备对联邦模型缺乏贡献。在本文中，我们提出一种异步在线联邦学习（ASO-Fed）框架，其中边缘设备利用连续流式本地数据执行在线学习，中央服务器聚合来自客户端的模型参数。我们的框架以异步方式更新中央模型，以应对异构边缘设备上计算负载变化以及边缘设备落后或掉线相关的挑战。我们在模拟基准图像数据集和三个真实世界非IID流式数据集上进行了广泛实验。结果证明了\model~在快速收敛和保持良好预测性能方面的有效性。
引用
@article{arxiv.1911.02134,
title = {Asynchronous Online Federated Learning for Edge Devices with Non-IID Data},
author = {Yujing Chen and Yue Ning and Martin Slawski and Huzefa Rangwala},
journal= {arXiv preprint arXiv:1911.02134},
year = {2020}
}
备注
11 pages