M22：一种受率失真理论启发的通信高效联邦学习算法
机器学习
2023-01-24 v1 分布式、并行与集群计算
信息论
math.IT
摘要
在联邦学习（FL）中，远程学习器与参数服务器（PS）之间的通信约束是一个关键瓶颈。为此，必须对模型更新进行压缩，以最小化由通信约束导致的精度损失。本文提出“M-幅度加权 L_2 失真 + 2 自由度”（M22）算法，这是一种受率失真理论启发的、用于深度神经网络（DNNs）联邦训练梯度压缩的方法。具体而言，我们提出了一类原始梯度与重构梯度之间的失真度量，称为“M-幅度加权 L_2”失真，并假设梯度更新服从具有两个自由度的独立同分布——广义正态或威布尔分布。在失真度量和梯度中，各自有一个自由参数可作为迭代次数的函数进行拟合。给定梯度分布和失真度量的选择，我们设计了使梯度重构期望失真最小的量化器。为在通信约束下衡量梯度压缩性能，我们定义每比特精度（per-bit accuracy）为在训练期间一比特通信为中心化模型带来的最优精度提升。利用该性能指标，我们系统性地基准测试了梯度分布与失真度量的选择。我们提供了关于这些选择作用的实质性见解，并论证使用此类率失真启发的压缩器可取得显著的性能改进。
引用
@article{arxiv.2301.09269,
title = {M22: A Communication-Efficient Algorithm for Federated Learning Inspired by Rate-Distortion},
author = {Yangyi Liu and Stefano Rini and Sadaf Salehkalaibar and Jun Chen},
journal= {arXiv preprint arXiv:2301.09269},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2202.02812