概念匹配:基于聚类的联邦持续学习
机器学习
2023-11-14 v1 分布式、并行与集群计算
摘要
联邦持续学习(FCL)已成为一种结合联邦学习(FL)与持续学习(CL)的有前景的范式。为获得良好的模型精度,FCL 需要应对 CL 中因概念漂移随时间产生的灾难性遗忘,并克服 FL 中客户端之间的潜在干扰。我们提出概念匹配(CM),一种用于 FCL 的基于聚类的框架以应对这些挑战。CM 框架将客户端模型分组为概念模型簇,然后构建不同的全局模型以随时间捕获 FL 中的不同概念。在每一轮中,服务器将全局概念模型发送给客户端。为避免灾难性遗忘,每个客户端选择与其当前数据概念最匹配的概念模型进行进一步微调。为避免具有不同概念的客户端模型之间的干扰,服务器对表示同一概念的模型进行聚类,在每个簇内聚合模型权重,并用同概念的簇模型更新全局概念模型。由于服务器不知道聚合的簇模型所捕获的概念,我们提出了一种新颖的服务器概念匹配算法,可有效地用匹配的簇模型更新全局概念模型。CM 框架提供了使用不同聚类、聚合和概念匹配算法的灵活性。评估表明 CM 优于最先进的系统,并且随客户端数量和模型规模具有良好的可扩展性。
引用
@article{arxiv.2311.06921,
title = {Concept Matching: Clustering-based Federated Continual Learning},
author = {Xiaopeng Jiang and Cristian Borcea},
journal= {arXiv preprint arXiv:2311.06921},
year = {2023}
}