Hyperdecoders：面向多任务 NLP 的实例特定解码器
计算与语言
2022-10-19 v3
摘要
我们研究了用于 NLP 中多任务处理的输入条件化超网络，利用以编码器输出为条件的超网络为解码器生成参数高效的适配。该方法为每个输入实例生成独特的解码器适配，相较先前仅为每个任务生成一个解码器适配的工作，赋予了网络更大灵活性。我们将该方法应用于序列分类任务、抽取式问答和摘要，发现其超越了先前的参数高效微调方法，且常优于对底层模型的全量微调。对我们超网络所用嵌入的分析表明，它们对输出标签与类型敏感，意味着我们的方法能更好地从编码器表示映射到输出标签。我们的代码公开于 https://github.com/allenai/hyperdecoders。
引用
@article{arxiv.2203.08304,
title = {Hyperdecoders: Instance-specific decoders for multi-task NLP},
author = {Hamish Ivison and Matthew E. Peters},
journal= {arXiv preprint arXiv:2203.08304},
year = {2022}
}
备注
Accepted to Findings of EMNLP 2022