用于分布式环境下更快双向压缩的保留中心模型
机器学习
2022-06-17 v2 分布式、并行与集群计算
统计理论
统计理论
摘要
我们提出了一种新方法来解决带有中心服务器的分布式学习问题中的通信约束。我们提出并分析了一种执行双向压缩且达到与使用仅上行链路（从本地工作节点到中心服务器）压缩的算法相同收敛速率的新算法。为获得这一改进，我们设计了 MCM 算法，使得下行链路压缩仅影响本地模型，而全局模型得以保留。因此，与先前工作相反，本地服务器上的梯度是在扰动模型上计算的。相应地，收敛性证明更具挑战性，并且需要对这种扰动进行精确控制。为确保这一点，MCM 额外将模型压缩与记忆机制相结合。该分析开辟了新方向，例如纳入依赖于工作节点的随机化模型和部分参与。
引用
@article{arxiv.2102.12528,
title = {Preserved central model for faster bidirectional compression in distributed settings},
author = {Constantin Philippenko and Aymeric Dieuleveut},
journal= {arXiv preprint arXiv:2102.12528},
year = {2022}
}
备注
Bidirectional compression for Federated Learning: 59 pages, 5 theorems, published at NeurIPS 2021