基于模型混合的个性化联邦学习：用于自适应预测与模型微调
机器学习
2024-10-30 v1
摘要
联邦学习以其在分布式模型训练中的有效性而闻名，它通过不让被称为客户端的用户向协调合作的中央服务器披露数据，来确保用户保留数据隐私。先前关于联邦学习的大多数工作假设客户端拥有静态批次的训练数据。然而，在非平稳环境中，客户端可能还需要对流数据进行实时预测。在这种动态环境中，使用预训练模型可能效率低下，因为它们难以适应不断变化的数据流。为了应对这一挑战，客户端可以在线微调模型，利用其观察到的数据来增强性能。尽管客户端参与联邦在线模型微调具有潜在益处，但现有分析尚未确凿证明其优于本地模型微调。为了弥补这一差距，本文开发了一种新颖的个性化联邦学习算法，其中每个客户端通过将本地微调的模型与服务器随时间学习的多个联邦模型相结合，来构建个性化模型。理论分析和在真实数据集上的实验证实了该方法在实时预测和联邦模型微调方面的有效性。
引用
@article{arxiv.2410.21547,
title = {Personalized Federated Learning with Mixture of Models for Adaptive Prediction and Model Fine-Tuning},
author = {Pouya M. Ghari and Yanning Shen},
journal= {arXiv preprint arXiv:2410.21547},
year = {2024}
}
备注
Accepted to NeurIPS 2024