DAdaQuant：用于通信高效联邦学习的双重自适应量化
机器学习
2021-11-02 v1
摘要
联邦学习（FL）是一种在服务器上以隐私保护方式利用多个客户端数据训练模型的强大技术。在 FL 中，服务器将模型发送给每个客户端，客户端在本地训练模型后再将其发回服务器。服务器聚合更新后的模型并重复该过程若干轮。FL 产生了显著的通信成本，尤其是在将更新后的本地模型从客户端传回服务器时。近期提出的算法对模型参数进行量化以有效压缩 FL 通信。这些算法通常具有控制压缩比的量化级别。我们发现动态自适应调整量化级别能够在不牺牲模型质量的前提下提升压缩率。首先，我们引入了一种时间自适应量化算法，随着训练推进提高量化级别。其次，我们引入了一种客户端自适应量化算法，在每一轮为每个单独客户端分配最优量化级别。最后，我们将两种算法结合为 DAdaQuant，即双重自适应量化算法。我们的实验表明，DAdaQuant 持续改善了客户端→服务器的压缩，相较最强的非自适应基线最高提升 。
引用
@article{arxiv.2111.00465,
title = {DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning},
author = {Robert Hönig and Yiren Zhao and Robert Mullins},
journal= {arXiv preprint arXiv:2111.00465},
year = {2021}
}
备注
10 pages, 5 figures, submitted to ICLR 2022