FedMeS：利用本地记忆的个性化联邦持续学习
机器学习
2024-04-22 v1
摘要
我们关注个性化联邦持续学习 (PFCL) 问题：一组分布式客户端，每个客户端具有任意数据分布上的一系列本地任务，通过中央服务器协作在每个客户端训练一个个性化模型，期望该模型在所有本地任务上均能达到良好性能。我们提出了一种名为联邦记忆强化 (FedMeS) 的新型 PFCL 框架，以应对客户端漂移和灾难性遗忘的挑战。在 FedMeS 中，每个客户端使用少量本地内存存储来自先前任务的样本，并利用此信息来 1) 在训练过程中校准梯度更新；以及 2) 执行基于 KNN 的高斯推断以促进个性化。FedMeS 被设计为任务无关的，使得对所有任务的样本应用相同的推断过程以实现良好性能。本文对 FedMeS 进行了理论分析与实验评估。结果表明，在各种数据集、任务分布和客户端数量的组合下，FedMeS 在平均准确率和遗忘率上均优于所有基线方法。
引用
@article{arxiv.2404.12710,
title = {FedMeS: Personalized Federated Continual Learning Leveraging Local Memory},
author = {Jin Xie and Chenqing Zhu and Songze Li},
journal= {arXiv preprint arXiv:2404.12710},
year = {2024}
}