面向多域非独立分布文本数据的自适应联邦蒸馏

预训练语言模型的广泛成功已建立了一种新的训练范式，即使用来自当地客户的特定任务数据对全局 PLM 进行微调。然而，局部数据在实际环境中与彼此高度不同，无法捕捉整个数据的全局分布。为解决现实环境中非独立分布（non-IID）数据的挑战，privacy-preserving federated distillation 已被提出并受到广泛关注。然而，先前的实验非独立分布场景主要通过标签（输出）多样性来识别，而未考虑语言领域（输入）的多样性，这在自然语言处理中至关重要。本文引入一套全面的多域非独立分布场景，提出一个统一的基准框架，包括多样化的数据。该基准可用于评估在真实环境中运行的联邦学习框架。为此，我们提出了自适应联邦蒸馏（AdaFD）框架，旨在解决在均匀和异构设置下的多域非独立分布挑战。实验结果表明，我们的模型捕捉了本地客户的多样性，并在现有工作之上实现了更好的性能。本文的代码可在 https://github.com/jiahaoxiao1228/AdaFD 获取。