面向可扩展联邦学习的分层自适应模型聚合
机器学习
2022-01-04 v3
摘要
在联邦学习中，跨客户端聚合局部模型的常用方法是周期性平均全模型参数。然而，已知神经网络的的不同层在客户端之间可能具有不同程度的模型差异。传统的全聚合方案未考虑这种差异并一次性同步整个模型参数，导致网络带宽消耗低效。聚合那些在客户端间相似的参数不会带来有意义的训练进展，反而增加通信成本。我们提出FedLAMA，一种面向可扩展联邦学习的分层模型聚合方案。FedLAMA以分层方式自适应调整聚合间隔，联合考虑模型差异与通信成本。该分层聚合方法能够精细控制聚合间隔，在不显著影响模型精度的前提下放宽聚合频率。我们的实证研究表明，FedLAMA在IID数据上减少达60%的通信成本，在非IID数据上减少达70%，同时取得与FedAvg相当的精度。
引用
@article{arxiv.2110.10302,
title = {Layer-wise Adaptive Model Aggregation for Scalable Federated Learning},
author = {Sunwoo Lee and Tuo Zhang and Chaoyang He and Salman Avestimehr},
journal= {arXiv preprint arXiv:2110.10302},
year = {2022}
}