基于选择性客户端间迁移的联邦持续学习用于文本分类
计算与语言
2023-02-14 v2 人工智能
摘要
在这项工作中,我们结合了联邦学习(FL)与持续学习(CL)两种范式,用于云—边连续体中的文本分类任务。联邦持续学习(FCL)的目标是通过(相关且高效的)知识迁移,在不共享数据的情况下,持续提升每个客户端上的深度学习模型。在此,我们解决 FCL 设定中因客户端间任务异构性而在知识共享时最小化客户端间干扰的挑战。为此,我们提出一种新颖框架——联邦选择性客户端间迁移(FedSeIT),其选择性地组合外部客户端的模型参数。为了进一步最大化知识迁移,我们评估领域重叠并从各外部客户端的历史任务序列中选择信息性任务,同时保护隐私。与基线相比,我们使用来自不同领域的五个数据集在一系列任务上展示了性能提升,文本分类平均增益达 12.4%。据我们所知,这是首个将 FCL 应用于 NLP 的工作。
引用
@article{arxiv.2210.06101,
title = {Federated Continual Learning for Text Classification via Selective Inter-client Transfer},
author = {Yatin Chaudhary and Pranav Rai and Matthias Schubert and Hinrich Schütze and Pankaj Gupta},
journal= {arXiv preprint arXiv:2210.06101},
year = {2023}
}
备注
EMNLP2022 (Findings): 11 pages, 5 figures, 4 tables