高效且弱中心化的联邦学习
分布式、并行与集群计算
2021-06-15 v1
摘要
随着移动计算的快速增长，海量数据和计算资源现已位于边缘侧。为此，联邦学习（FL）正成为一种被广泛采用的分布式机器学习（ML）范式，旨在本地利用这些不断扩展的偏斜数据以开发丰富且具信息量的模型。在中心化FL中，一组设备在中心服务器的协调下协作解决ML任务。然而，现有FL框架对网络连接性做了过度简化的假设，并忽略了网络中不同链路的通信带宽。在本文中，我们提出并研究了一种新颖的FL算法，其中设备大多以成对方式与其他设备协作。我们的非参数方法能够利用网络拓扑来减少通信瓶颈。我们在多种FL基准上评估了我们的方法，并证明与中心化方法相比，我们的方法实现了10倍的通信效率提升和约8%的准确率提高。
引用
@article{arxiv.2106.06627,
title = {Efficient and Less Centralized Federated Learning},
author = {Li Chou and Zichang Liu and Zhuang Wang and Anshumali Shrivastava},
journal= {arXiv preprint arXiv:2106.06627},
year = {2021}
}