FedAT：一种基于异步分层的高性能且通信高效的联邦学习系统
分布式、并行与集群计算
2021-08-31 v2 机器学习
网络与互联网体系结构
摘要
联邦学习（FL）涉及在海量分布式设备上训练模型，同时使训练数据保持本地化。这种协作学习在模型收敛速度、模型精度、客户端间平衡与通信成本之间暴露出新的权衡，并带来新的挑战包括：（1）掉队者问题，即客户端因数据或（计算与网络）资源异构性而滞后；（2）通信瓶颈，即大量客户端将本地更新发送至中心服务器并造成服务器瓶颈。许多现有 FL 方法仅沿权衡空间的一个维度进行优化。现有方案使用异步模型更新或基于分层同步机制来解决掉队者问题。然而，异步方法易产生网络通信瓶颈，而分层可能因偏好响应延迟更短的快速层而引入偏差。为解决这些问题，我们提出 FedAT，一种在非独立同分布数据下带异步分层的新型联邦学习方法。FedAT 协同结合层内同步训练与跨层异步训练。通过分层桥接同步与异步训练，FedAT 在提升收敛速度与测试精度的同时最小化掉队者效应。FedAT 使用掉队者感知的加权聚合启发式方法来引导并平衡训练以进一步提升精度。FedAT 采用高效的基于折线编码的压缩算法压缩上行与下行通信，从而最小化通信成本。结果表明，与最先进 FL 方法相比，FedAT 将预测性能提升高达 21.09%，并将通信成本降低高达 8.5 倍。
引用
@article{arxiv.2010.05958,
title = {FedAT: A High-Performance and Communication-Efficient Federated Learning System with Asynchronous Tiers},
author = {Zheng Chai and Yujing Chen and Ali Anwar and Liang Zhao and Yue Cheng and Huzefa Rangwala},
journal= {arXiv preprint arXiv:2010.05958},
year = {2021}
}
备注
SC21