基于自适应知识匹配的个性化联邦域增量学习
机器学习
2024-07-19 v2 分布式、并行与集群计算
摘要
本文聚焦于联邦域增量学习（FDIL），其中每个客户端持续学习增量任务，且各客户端的任务域彼此不同。我们提出了一种新颖的基于自适应知识匹配的个性化FDIL方法（pFedDIL），该方法允许每个客户端根据新任务与先前任务知识的相关性，交替使用合适的增量任务学习策略。更具体地说，当新任务到来时，每个客户端首先计算其与先前任务的局部相关性。然后，客户端可以选择采用新的初始模型或具有相似知识的先前模型来训练新任务，并同时基于这些相关性从先前任务迁移知识。此外，为了识别每个客户端新任务与先前任务之间的相关性，我们为每个目标分类模型分别配备了一个辅助分类器，并提出在目标分类模型和辅助分类器之间共享部分参数以精简模型参数。我们在多个数据集上进行了大量实验，结果表明，就所有任务的平均准确率而言，pFedDIL的性能优于最先进的方法高达14.35%。
引用
@article{arxiv.2407.05005,
title = {Personalized Federated Domain-Incremental Learning based on Adaptive Knowledge Matching},
author = {Yichen Li and Wenchao Xu and Haozhao Wang and Ruixuan Li and Yining Qi and Jingcai Guo},
journal= {arXiv preprint arXiv:2407.05005},
year = {2024}
}