FewFedWeight：跨多 NLP 任务的少样本联邦学习框架
计算与语言
2022-12-19 v1
摘要
基于大语言模型的海量多任务学习近期在少样本泛化上取得了实质性进展。然而，这通常以集中式学习方式进行，忽视了多任务所用（标注）数据的隐私敏感性问题。为缓解该问题，我们提出 FewFedWeight，一个跨多任务的少样本联邦学习框架，以兼得两全：隐私保护与跨任务泛化。FewFedWeight 在隔离设备上训练客户端模型而不共享数据。它将服务器中的全局模型广播至各客户端并为客户端生成伪数据，从而可挖掘全局模型的知识以增强各客户端模型的少样本学习。进一步提出一种基于能量的算法对伪样本加权，以降低所生成伪数据中噪声的负面影响。客户端模型的自适应模型权重也依据其表现进行调节。我们利用这些模型权重动态聚合客户端模型以更新全局模型。在 118 个 NLP 任务上的实验表明，FewFedWeight 能在 61% 的任务上显著提升客户端模型性能，相较基线平均性能提升率达 30.5%，并大幅优于 FedAvg 及其他去中心化学习方法。
引用
@article{arxiv.2212.08354,
title = {FewFedWeight: Few-shot Federated Learning Framework across Multiple NLP Tasks},
author = {Weilong Dong and Xinwei Wu and Junzhuo Li and Shuangzhi Wu and Chao Bian and Deyi Xiong},
journal= {arXiv preprint arXiv:2212.08354},
year = {2022}
}