DoCoFL:面向跨设备联邦学习的下行链路压缩
机器学习
2023-07-17 v2 人工智能
机器学习
摘要
已有许多压缩技术被提出以降低联邦学习训练过程的通信开销。然而,这些技术通常为压缩模型更新而设计,而模型更新预期在训练过程中衰减。因此,此类方法不适用于跨设备设定中的下行链路(即从参数服务器到客户端)压缩,其中异构客户端,因而必须下载模型参数。相应地,我们提出——一种用于跨设备设定中下行链路压缩的新框架。重要的是,可与许多上行链路压缩方案无缝结合,使其适用于双向压缩。通过广泛评估,我们表明在达到与不压缩基线相竞争的精度的同时,提供了显著的双向带宽缩减。
引用
@article{arxiv.2302.00543,
title = {DoCoFL: Downlink Compression for Cross-Device Federated Learning},
author = {Ron Dorfman and Shay Vargaftik and Yaniv Ben-Itzhak and Kfir Y. Levy},
journal= {arXiv preprint arXiv:2302.00543},
year = {2023}
}
备注
ICML 2023