通过稳定性理解联邦学习的泛化：异质性至关重要
机器学习
2023-06-07 v1
摘要
泛化性能是评估机器学习模型在真实世界应用中表现的关键指标。良好的泛化意味着模型在有限数据训练下能正确预测未见数据。联邦学习(FL)作为一种流行的分布式学习框架，允许多个设备或客户端在不违反隐私要求的前提下训练共享模型。尽管现有文献已广泛研究集中式机器学习算法的泛化性能，但联邦设定下的类似分析要么缺失，要么对损失函数施加了极为严格的假设。本文旨在通过算法稳定性分析联邦学习的泛化性能，算法稳定性衡量算法在扰动一个数据点时代出模型的变化。我们研究了三种广泛使用的算法，包括FedAvg、SCAFFOLD和FedProx，在凸和非凸损失函数下的表现。我们的分析表明，这三种算法训练的模型的泛化性能与客户端数据集的异质性以及算法的收敛行为密切相关。特别是在i.i.d.设定下，我们的结果恢复了随机梯度下降(SGD)的经典结论。
引用
@article{arxiv.2306.03824,
title = {Understanding Generalization of Federated Learning via Stability: Heterogeneity Matters},
author = {Zhenyu Sun and Xiaochun Niu and Ermin Wei},
journal= {arXiv preprint arXiv:2306.03824},
year = {2023}
}
备注
Submitted to NeurIPS 2023