异构数据上序列联邦学习的紧致界
机器学习
2025-04-24 v2
摘要
联邦学习（FL）有两种范式：并行联邦学习（PFL），即模型在各个客户端上以并行方式进行训练；以及序列联邦学习（SFL），即模型在各个客户端上以顺序方式进行训练。具体而言，在PFL中，客户端独立执行本地更新，并将更新后的模型参数发送到全局服务器进行聚合；在SFL中，一个客户端只有在接收到序列中前一个客户端的模型参数后，才开始其本地更新。与PFL不同，SFL在异构数据上的收敛理论仍然缺乏。为了解决SFL的这一理论困境，我们针对异构数据上的SFL建立了包含上界和下界的紧致收敛保证。具体而言，我们推导了强凸、一般凸和非凸目标函数的上界，并为强凸和一般凸目标函数构造了匹配的下界。然后，我们将SFL的上界与PFL的上界进行比较，表明在异构数据上SFL优于PFL（至少在异构性水平相对较高时）。实验结果验证了这一反直觉的理论发现。
引用
@article{arxiv.2405.01142,
title = {Sharp Bounds for Sequential Federated Learning on Heterogeneous Data},
author = {Yipeng Li and Xinchen Lyu},
journal= {arXiv preprint arXiv:2405.01142},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2311.03154