重新审视联邦学习中神经网络的加权聚合
机器学习
2023-06-13 v4
摘要
在联邦学习（FL）中，通过对局部模型进行加权聚合来生成全局模型，且聚合权重被归一化（权重之和为1）并与局部数据量成正比。本文重新审视加权聚合过程，并对FL的训练动态获得新的见解。首先，我们发现权重之和可以小于1，导致全局权重收缩效应（类似于权重衰减）并改善泛化能力。我们探究了客户端数据异质性和本地训练轮次如何影响最优收缩因子。其次，我们深入考察客户端间的相对聚合权重以刻画客户端的重要性。我们提出客户端一致性（client coherence）来研究学习动态，并发现其中存在一个临界点。在进入临界点之前，一致性更高的客户端在泛化中扮演更关键的角色。基于上述见解，我们提出了一种具有可学习聚合权重的联邦学习方法，命名为FedLAW。大量实验验证了我们的方法在不同数据集和模型上均能大幅提升全局模型的泛化能力。
引用
@article{arxiv.2302.10911,
title = {Revisiting Weighted Aggregation in Federated Learning with Neural Networks},
author = {Zexi Li and Tao Lin and Xinyi Shang and Chao Wu},
journal= {arXiv preprint arXiv:2302.10911},
year = {2023}
}
备注
Accepted by ICML 2023