个性化联邦学习的实证研究
机器学习
2022-06-28 v1
摘要
联邦学习是一种分布式机器学习方法,其中单一服务器与多个客户端协作构建机器学习模型而不共享客户端上的数据集。联邦学习的一个挑战性问题是数据异构性(即各客户端间数据分布可能不同)。为应对此问题,众多联邦学习方法致力于个性化联邦学习,为客户端构建优化模型。尽管现有研究对其自身方法进行了实证评估,但这些研究中的实验设置(如对比方法、数据集与客户端设置)彼此不同,且尚不清楚哪种个性化联邦学习方法取得最佳性能,以及使用这些方法相较于标准(即非个性化)联邦学习能取得多大进展。本文通过综合实验对现有个性化联邦学习的性能进行基准测试,以评估各方法的特征。我们的实验研究表明:(1) 无冠军方法;(2) 大数据异构性常导致高准确预测;(3) 带微调的标准联邦学习方法(如 FedAvg)常优于个性化联邦学习方法。我们开放了基准工具 FedBench,供研究者以多种实验设置开展实验研究。
引用
@article{arxiv.2206.13190,
title = {An Empirical Study of Personalized Federated Learning},
author = {Koji Matsuda and Yuya Sasaki and Chuan Xiao and Makoto Onizuka},
journal= {arXiv preprint arXiv:2206.13190},
year = {2022}
}