中文

DoCoFL:面向跨设备联邦学习的下行链路压缩

机器学习 2023-07-17 v2 人工智能 机器学习

摘要

已有许多压缩技术被提出以降低联邦学习训练过程的通信开销。然而,这些技术通常为压缩模型更新而设计,而模型更新预期在训练过程中衰减。因此,此类方法不适用于跨设备设定中的下行链路(即从参数服务器到客户端)压缩,其中异构客户端可能在训练期间仅出现一次\textit{可能在训练期间仅出现一次},因而必须下载模型参数。相应地,我们提出DoCoFL\textsf{DoCoFL}——一种用于跨设备设定中下行链路压缩的新框架。重要的是,DoCoFL\textsf{DoCoFL}可与许多上行链路压缩方案无缝结合,使其适用于双向压缩。通过广泛评估,我们表明DoCoFL\textsf{DoCoFL}在达到与不压缩基线相竞争的精度的同时,提供了显著的双向带宽缩减。

关键词

引用

@article{arxiv.2302.00543,
  title  = {DoCoFL: Downlink Compression for Cross-Device Federated Learning},
  author = {Ron Dorfman and Shay Vargaftik and Yaniv Ben-Itzhak and Kfir Y. Levy},
  journal= {arXiv preprint arXiv:2302.00543},
  year   = {2023}
}

备注

ICML 2023