FedFisher：利用 Fisher 信息实现单轮联邦学习
机器学习
2024-03-20 v1 分布式、并行与集群计算
机器学习
摘要
标准的联邦学习（FL）算法通常需要服务器与客户端之间进行多轮通信，这带来了若干缺点，包括需要持续的网络连接、计算资源的反复投入以及易受隐私攻击。单轮联邦学习（One-Shot FL）是一种新范式，旨在通过使服务器仅在一轮通信中即可训练出全局模型来应对这一挑战。在本工作中，我们提出了 FedFisher，一种用于单轮联邦学习的新算法，该算法受联邦学习贝叶斯视角的启发，利用了在本地客户端模型上计算的 Fisher 信息矩阵。首先，我们从理论上分析了 FedFisher 在两层过参数化 ReLU 神经网络上的表现，并证明随着神经网络宽度和客户端本地训练量的增加，我们的单轮 FedFisher 全局模型的误差会变得极小。其次，我们提出了 FedFisher 的实用变体，分别使用对角 Fisher 近似和 K-FAC 近似来替代完整的 Fisher 矩阵，并强调了它们在联邦学习中的通信和计算效率。最后，我们在各种数据集上进行了广泛的实验，结果表明这些 FedFisher 变体相较于竞争基线方法持续取得改进。
引用
@article{arxiv.2403.12329,
title = {FedFisher: Leveraging Fisher Information for One-Shot Federated Learning},
author = {Divyansh Jhunjhunwala and Shiqiang Wang and Gauri Joshi},
journal= {arXiv preprint arXiv:2403.12329},
year = {2024}
}
备注
Accepted to AISTATS 2024