基于任务嵌入的 NLP 模型分析与预测

Damien Sileo; Marie-Francine Moens

基于任务嵌入的 NLP 模型分析与预测

计算与语言 2021-12-13 v1

作者: Damien Sileo , Marie-Francine Moens

摘要

任务嵌入是经训练以捕捉任务属性的低维表示。本文提出 MetaEval，一个包含 $101$ 个 NLP 任务的集合。我们将单个 transformer 联合拟合于所有 MetaEval 任务，同时以所学嵌入为条件进行调节。所得任务嵌入实现了对任务空间的新颖分析。随后我们展示，无需使用任何标注样本，即可将任务属性映射到新任务的嵌入上。预测嵌入可调节编码器以进行零样本推断，并在 GLUE 任务上优于零样本基线。所提供的多任务设置可作为未来迁移学习研究的基准。

关键词

任务嵌入自然语言处理 MetaEval 多任务学习零样本推断 transformer 迁移学习基准

引用

@article{arxiv.2112.05647,
  title  = {Analysis and Prediction of NLP Models Via Task Embeddings},
  author = {Damien Sileo and Marie-Francine Moens},
  journal= {arXiv preprint arXiv:2112.05647},
  year   = {2021}
}