懒而有效：面向异构数据的协作式个性化联邦学习
机器学习
2025-05-06 v1 人工智能
摘要
在联邦学习中，客户端数据分布的异构性通常意味着单一全局模型无法为各个客户端提供最佳性能。例如，考虑训练一个键盘的下一个词预测模型：由于人口统计特征（方言、年龄等）、语言熟练度和写作风格导致的用户特定语言模式，使得跨客户端的数据集高度非独立同分布（non-IID）。其他例子包括使用不同机器拍摄的医学图像，或来自不同车辆类型的驾驶数据。为了解决这个问题，我们提出了一个简单而有效的个性化联邦学习框架（pFedLIA），该框架利用一种计算高效的、称为“懒惰影响”的影响近似方法，在模型聚合之前以分布式方式对客户端进行聚类。在每个聚类内，数据所有者协作联合训练一个能够捕捉客户端特定数据模式的模型。我们的方法已被证明能够成功恢复因非独立同分布性导致的全局模型性能下降，这已在各种合成和真实世界场景中得到验证，特别是在北欧语言的下一个词预测任务以及多个基准任务上。其性能与假设的Oracle聚类相匹配，并显著优于现有基线，例如，在CIFAR100上提升了17%。
引用
@article{arxiv.2505.02540,
title = {Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data},
author = {Ljubomir Rokvic and Panayiotis Danassis and Boi Faltings},
journal= {arXiv preprint arXiv:2505.02540},
year = {2025}
}
备注
Accepted at the International Joint Conference on Neural Networks (IJCNN), IEEE, 2025