利用函数空间聚合实现大规模联邦学习
机器学习
2024-02-20 v2
摘要
联邦学习范式推动了将多个客户端更新聚合为全局服务器模型而不共享客户端数据的方法的发展。许多联邦学习算法，包括典型的联邦平均（FedAvg），受分布式优化结果启发，对客户端参数更新取直接（可能加权的）平均。本工作中，我们采用函数空间视角，提出一种新算法 FedFish，其利用基于 Fisher 信息的估计来聚合客户端所学函数的局部近似。我们在真实、大规模跨设备基准上评估 FedFish。虽然 FedAvg 的性能会因客户端模型差异增大而下降，我们证明 FedFish 对更长本地训练更具鲁棒性。我们在图像与语言基准的若干设定下的评估表明，随着本地训练轮数增加，FedFish 优于 FedAvg。此外，FedFish 得到的全局网络更适于通过相同或偏移数据分布上的本地微调实现高效个性化。例如，在 C4 数据集上联邦预训练，继而在 Stack Overflow 上少样本个性化，FedFish 相较 FedAvg 在下一词预测上提升 7%。
引用
@article{arxiv.2311.10291,
title = {Leveraging Function Space Aggregation for Federated Learning at Scale},
author = {Nikita Dhawan and Nicole Mitchell and Zachary Charles and Zachary Garrett and Gintare Karolina Dziugaite},
journal= {arXiv preprint arXiv:2311.10291},
year = {2024}
}
备注
23 pages, 10 figures. Transactions on Machine Learning Research, 2024