利用率失真理论优化联邦学习中的通信-精度权衡
机器学习
2022-05-23 v3 分布式、并行与集群计算
信息论
math.IT
机器学习
摘要
联邦学习(FL)的一个显著瓶颈是将模型更新从客户端设备发送到中心服务器的网络通信成本。我们对FL中模型更新的统计特性以及各种压缩技术的作用和益处进行了全面的实证研究。受这些观察的启发，我们提出了一种降低平均通信成本的新方法，该方法在许多用例中接近最优，并在Stack Overflow下一词预测这一现实且具挑战性的FL基准上优于Top-K、DRIVE、3LC和QSGD。这是通过运用率失真理论审视该问题，并提出以失真作为模型精度的可靠代理来实现的。失真可更有效地用于优化跨客户端的模型性能与通信成本之间的权衡。我们通过实验证明，尽管联邦学习具有非独立同分布的特性，率失真前沿在数据集、优化器、客户端和训练轮次之间是一致的。
引用
@article{arxiv.2201.02664,
title = {Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory},
author = {Nicole Mitchell and Johannes Ballé and Zachary Charles and Jakub Konečný},
journal= {arXiv preprint arXiv:2201.02664},
year = {2022}
}