通过联邦学习协作异构自然语言处理任务
计算与语言
2022-12-13 v1
摘要
近年来，对个人私密文本数据日益增长的隐私担忧推动了联邦学习（FL）的发展。然而，现有将FL应用于NLP的研究不适用于协调具有异构或私有学习目标的参与方。在本研究中，我们提出一种分配然后对比（记为ATC）框架，进一步拓宽了FL在NLP中的应用范围，该框架使具有异构NLP任务的客户端能够构建FL过程并相互学习有用知识。具体而言，建议客户端首先使用服务器分配的统一任务进行本地训练，而非使用自身的学习目标，这称为分配训练阶段。之后，在对比训练阶段，客户端以不同的本地学习目标进行训练，并与贡献一致且有用模型更新的其他客户端交换知识。我们在涵盖自然语言理解（NLU）和自然语言生成（NLG）任务的六个广泛使用的数据集上进行了大量实验，所提出的ATC框架相比多种基线方法取得了显著改进。源代码可在\url{https://github.com/alibaba/FederatedScope/tree/master/federatedscope/nlp/hetero_tasks}获取。
引用
@article{arxiv.2212.05789,
title = {Collaborating Heterogeneous Natural Language Processing Tasks via Federated Learning},
author = {Chenhe Dong and Yuexiang Xie and Bolin Ding and Ying Shen and Yaliang Li},
journal= {arXiv preprint arXiv:2212.05789},
year = {2022}
}