异构数据上序贯联邦学习的收敛性分析
机器学习
2024-05-09 v2
摘要
联邦学习(FL)中用于跨多个客户端联合训练的方法分为两类：i) 并行联邦学习(PFL)，客户端以并行方式训练模型；ii) 序贯联邦学习(SFL)，客户端以序贯方式训练模型。与PFL相比，SFL在异构数据上的收敛理论仍然缺乏。本文针对异构数据上强凸/一般凸/非凸目标，建立了SFL的收敛保证。在完全和局部客户端参与的异构数据上，SFL的收敛保证均优于PFL。实验结果验证了这一反直觉的分析结论：在跨设备场景下，SFL在极度异构数据上的表现优于PFL。
引用
@article{arxiv.2311.03154,
title = {Convergence Analysis of Sequential Federated Learning on Heterogeneous Data},
author = {Yipeng Li and Xinchen Lyu},
journal= {arXiv preprint arXiv:2311.03154},
year = {2024}
}
备注
Accepted at NeurIPS 2023. arXiv admin note: text overlap with arXiv:2302.01633