L-FGADMM：用于通信高效去中心化深度学习的分层联邦组 ADMM
机器学习
2020-07-07 v2 分布式、并行与集群计算
网络与互联网体系结构
机器学习
摘要
本文提出一种通信高效的去中心化深度学习算法，称为分层联邦组 ADMM (L-FGADMM)。为最小化经验风险，L-FGADMM 中的每个工作节点周期性地与两个邻居通信，其中周期针对其深度神经网络的不同层分别调整。针对此设置构造了约束优化问题，并使用我们前期工作中提出的 GADMM 随机版本求解。数值评估表明，通过较低频率地交换最大层，L-FGADMM 能在不损害收敛速度的前提下显著降低通信开销。令人惊讶的是，尽管交换信息更少且为去中心化操作，L-FGADMM 中间歇性地跳过最大层共识产生了正则化效应，从而取得了与联邦学习 (FL) 一样高的测试精度，而 FL 是一种借助中心实体进行完整层共识的基线方法。
引用
@article{arxiv.1911.03654,
title = {L-FGADMM: Layer-Wise Federated Group ADMM for Communication Efficient Decentralized Deep Learning},
author = {Anis Elgabli and Jihong Park and Sabbir Ahmed and Mehdi Bennis},
journal= {arXiv preprint arXiv:1911.03654},
year = {2020}
}
备注
6 pages; 4 figures; presented at IEEE WCNC'2020