FedDQ：基于递减量化的通信高效联邦学习
机器学习
2022-11-11 v5
摘要
联邦学习(FL) 是一种不侵犯用户隐私的新兴学习范式。然而，大模型尺寸与频繁模型聚合给 FL 带来严重通信瓶颈。为减少通信量，已有模型压缩与量化等技术被提出。除固定比特量化外，现有自适应量化方案采用递增趋势量化，即量化等级随训练阶段增加而提高。本文首先研究量化对模型收敛的影响，表明最优量化等级与模型更新的范围直接相关。鉴于模型应随训练推进而收敛，模型更新的范围将逐渐收缩，表明量化等级应随训练阶段下降。基于理论分析，提出了名为 FedDQ 的递减量化方案。实验结果表明，与现有方案相比，所提递减量化方案可节省多达 65.2% 的通信比特量以及多达 68% 的通信轮次。
引用
@article{arxiv.2110.02291,
title = {FedDQ: Communication-Efficient Federated Learning with Descending Quantization},
author = {Linping Qu and Shenghui Song and Chi-Ying Tsui},
journal= {arXiv preprint arXiv:2110.02291},
year = {2022}
}
备注
Accepted by IEEE GLOBECOM 2022