基于加权客户端间迁移的联邦持续学习
机器学习
2021-06-15 v5 机器学习
摘要
持续学习与联邦学习均已在现实场景中的深度神经网络领域引起大量关注，然而针对每个客户端从私有本地数据流上学习一系列任务这一场景的研究甚少。这种联邦持续学习问题对持续学习提出了新的挑战，例如如何利用来自其他客户端的知识，同时防止不相关知识的干扰。为解决这些问题，我们提出了一种新颖的联邦持续学习框架——联邦加权客户端间迁移（FedWeIT），其将网络权重分解为全局联邦参数与稀疏任务特定参数，且每个客户端通过对其他客户端的任务特定参数进行加权组合来接收选择性知识。FedWeIT 最小化了不兼容任务间的干扰，并允许在学习过程中跨客户端进行正向知识迁移。我们在不同客户端间任务相似度下，将我们的 FedWeIT 与现有联邦学习与持续学习方法进行了对比验证，我们的模型以通信成本的大幅降低显著优于它们。代码见 https://github.com/wyjeong/FedWeIT
引用
@article{arxiv.2003.03196,
title = {Federated Continual Learning with Weighted Inter-client Transfer},
author = {Jaehong Yoon and Wonyong Jeong and Giwoong Lee and Eunho Yang and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2003.03196},
year = {2021}
}
备注
ICML 2021