Q-GADMM：面向通信高效去中心化机器学习的量化分组ADMM
机器学习
2025-01-22 v7 分布式、并行与集群计算
信息论
网络与互联网体系结构
math.IT
机器学习
摘要
本文提出一种通信高效的去中心化机器学习（ML）算法，称为量化分组ADMM（Q-GADMM）。为减少通信链路数量，Q-GADMM中每个工作节点仅与两个邻居通信，同时通过分组交替方向乘子法（GADMM）更新其模型。此外，每个工作节点传输其当前模型与先前量化模型之间的量化差值，从而减小通信载荷大小。然而，由于去中心化ML缺乏中心化实体，空间稀疏性与载荷压缩可能导致误差传播，阻碍模型训练收敛。为此，我们开发了一种新颖的随机量化方法，自适应调整模型量化级别及其概率，同时证明了Q-GADMM在凸目标函数下的收敛性。进一步，为展示Q-GADMM在非凸与随机问题上的可行性，我们提出量化随机GADMM（Q-SGADMM），其融合了深度神经网络架构与随机采样。仿真结果证实，在线性回归任务中，Q-GADMM在达到相同精度与收敛速度的同时，通信效率显著优于GADMM。类似地，在使用DNN的图像分类任务中，与未量化的对应方法即随机GADMM（SGADMM）相比，Q-SGADMM以相同精度与收敛速度实现了显著更低的总通信开销。
引用
@article{arxiv.1910.10453,
title = {Q-GADMM: Quantized Group ADMM for Communication Efficient Decentralized Machine Learning},
author = {Anis Elgabli and Jihong Park and Amrit S. Bedi and Chaouki Ben Issaid and Mehdi Bennis and Vaneet Aggarwal},
journal= {arXiv preprint arXiv:1910.10453},
year = {2025}
}
备注
20 pages, 8 figures; to appear in IEEE Transactions on Communications