基于删截、量化与广义分组 ADMM 的通信高效分布式学习
机器学习
2021-01-13 v2 信息论
网络与互联网体系结构
math.IT
机器学习
摘要
本文提出一种通信高效的去中心化机器学习框架，用于求解定义在一组互联工作节点网络上的共识优化问题。所提算法——删截与量化广义分组 ADMM（CQ-GGADMM）——借鉴了分组交替方向乘子法（GADMM）的工作节点分组与去中心化学习思想，并通过将其适用性扩展至广义网络拓扑，同时引入量化后针对可忽略更新的链路删截，推进了通信效率的边界。我们从理论上证明，在局部目标函数强凸且若干温和假设下，CQ-GGADMM 达到线性收敛速率。数值仿真证实，与删截去中心化 ADMM 及 GADMM 的工作节点分组方法相比，CQ-GGADMM 在不牺牲精度与收敛速度的前提下，于通信轮数与传输能耗方面表现出更高的通信效率。
引用
@article{arxiv.2009.06459,
title = {Communication Efficient Distributed Learning with Censored, Quantized, and Generalized Group ADMM},
author = {Chaouki Ben Issaid and Anis Elgabli and Jihong Park and Mehdi Bennis and Mérouane Debbah},
journal= {arXiv preprint arXiv:2009.06459},
year = {2021}
}
备注
14 pages, 5 figures