FEDZIP：一种通信高效的联邦学习压缩框架
机器学习
2021-02-03 v1
摘要
联邦学习通过保护用户隐私并防止原始数据被第三方访问，标志着无线设备去中心化机器学习（尤其是深度学习）实现的转折点。它将学习过程独立分配给每个客户端。首先，客户端基于本地数据本地训练机器学习模型。接下来，客户端将模型权重和偏置（训练数据）的本地更新传输到服务器。然后，服务器聚合更新（从客户端接收）以创建全局学习模型。然而，客户端与服务器之间的持续传输增加了通信成本，并且由于深度学习模型使用的大量参数（权重和偏置），从资源利用角度看效率低下。当贡献客户端数量和通信轮数增加时，通信成本变得更加令人担忧。在这项工作中，我们提出了一个新颖的框架FedZip，它在客户端与其服务器之间传输深度学习模型的权重时显著减小更新大小。FedZip实现了Top-z稀疏化，使用带聚类的量化，并通过三种不同的编码方法实现压缩。FedZip优于最先进的压缩框架，达到高达1085倍的压缩率，并在通信期间为客户端保留高达99%的带宽和99%的能量。
引用
@article{arxiv.2102.01593,
title = {FEDZIP: A Compression Framework for Communication-Efficient Federated Learning},
author = {Amirhossein Malekijoo and Mohammad Javad Fadaeieslam and Hanieh Malekijou and Morteza Homayounfar and Farshid Alizadeh-Shabdiz and Reza Rawassizadeh},
journal= {arXiv preprint arXiv:2102.01593},
year = {2021}
}