联邦学习中更多通信并不会带来更小的泛化误差
机器学习
2023-05-12 v2 信息论
机器学习
math.IT
摘要
我们研究联邦学习（FL）设定下统计学习模型的泛化误差。具体而言，有 个设备或客户端，每个持有大小为 的独立自有数据集。通过随机梯度下降在本地学习的个体模型由中心服务器聚合（平均）为全局模型，然后发回设备。我们考虑多轮（设 ）模型聚合，并研究 对最终聚合模型泛化误差的影响。我们建立了显式考虑 （此外还有参与设备数 和数据集大小 ）影响的泛化误差上界。观察到对于固定的 ，该上界随 增大，表明此类学习算法的泛化受到与参数服务器更频繁通信的负面影响。结合经验风险却通常随 增大而减小的事实，这表明 可能是优化以降低 FL 算法总体风险的参数。本文结果可直接推广到异构数据设定，并通过数值示例加以说明。
引用
@article{arxiv.2304.12216,
title = {More Communication Does Not Result in Smaller Generalization Error in Federated Learning},
author = {Romain Chor and Milad Sefidgaran and Abdellatif Zaidi},
journal= {arXiv preprint arXiv:2304.12216},
year = {2023}
}
备注
Extended version of paper accepted at ISIT 2023