基于稀疏化和量化的高效异步联邦学习
分布式、并行与集群计算
2024-01-09 v2 人工智能
机器学习
摘要
当数据分布在多个边缘设备上时，联邦学习越来越受到关注，可以在不传输原始数据的情况下协作训练机器学习模型。联邦学习通常利用一个参数服务器和大量边缘设备进行模型训练，每轮选择几个设备。然而，掉队设备可能减慢训练过程甚至导致系统崩溃。同时，其他空闲边缘设备未被使用。由于设备与服务器之间的带宽较低，中间数据的通信成为瓶颈。本文提出时间高效异步联邦学习与稀疏化和量化，即TEASQ-Fed。TEASQ-Fed可以充分利用边缘设备通过主动申请任务异步参与训练过程。我们利用控制参数选择适当数量的并行边缘设备同时执行训练任务。此外，我们引入缓存机制和基于模型陈旧度的加权平均进一步提高精度。我们还提出一种稀疏化和量化方法来压缩中间数据以加速训练。实验结果表明，TEASQ-Fed提高了精度（最高16.67%），同时加速了模型训练的收敛（最高两倍）。
引用
@article{arxiv.2312.15186,
title = {Efficient Asynchronous Federated Learning with Sparsification and Quantization},
author = {Juncheng Jia and Ji Liu and Chendi Zhou and Hao Tian and Mianxiong Dong and Dejing Dou},
journal= {arXiv preprint arXiv:2312.15186},
year = {2024}
}
备注
To appear in Concurrency and Computation: Practice and Experience (CCPE), 21 pages