EDEN：面向联邦学习的通信高效且鲁棒的分布式均值估计
机器学习
2022-06-16 v3 人工智能
数据结构与算法
网络与互联网体系结构
摘要
分布式均值估计（DME）是联邦学习的核心构建模块，其中客户端将本地梯度发送至参数服务器进行平均和更新模型。由于通信限制，客户端常使用有损压缩技术压缩梯度，导致估计不准确。当客户端具有多样化网络条件（如受限通信预算和丢包）时，DME 更具挑战性。在此类设置中，DME 技术常导致估计误差显著增加，从而造成学习性能下降。在本工作中，我们提出一种名为 EDEN 的鲁棒 DME 技术，其天然处理异构通信预算和丢包。我们为 EDEN 推导出令人满意的理论保证并对其进行实证评估。我们的结果表明，EDEN 持续优于最先进的 DME 技术。
引用
@article{arxiv.2108.08842,
title = {EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning},
author = {Shay Vargaftik and Ran Ben Basat and Amit Portnoy and Gal Mendelson and Yaniv Ben-Itzhak and Michael Mitzenmacher},
journal= {arXiv preprint arXiv:2108.08842},
year = {2022}
}
备注
To appear in ICML 2022