Plug-Tagger：一种使用语言模型的可插拔序列标注框架
计算与语言
2021-10-15 v1 人工智能
摘要
即插即用功能允许深度学习模型适应不同任务而无需修改任何参数。最近，prefix-tuning被证明是一种在各种文本生成任务中通过简单地将相应的连续向量插入输入来实现即插即用的方法。然而，序列标注任务使现有的即插即用方法失效，因为不同的标签集要求改变模型分类器的架构。在这项工作中，我们提出使用标签词预测代替分类，以完全复用预训练模型的架构进行序列标注任务。具体而言，对于每个任务，首先通过分别为每个类别选择一个高频词来构建标签词集，然后将与任务相关的向量插入输入并进行优化，以操纵模型预测向相应的标签词靠拢。因此，只需在输入上切换插件向量，冻结的预训练语言模型即可执行不同的任务。在三个序列标注任务上的实验结果表明，所提出方法的性能可与标准微调相媲美，且仅需0.1%的特定任务参数。此外，在资源受限的场景下，在不同任务之间切换时，我们的方法比非即插即用方法快达70倍。
引用
@article{arxiv.2110.07331,
title = {Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models},
author = {Xin Zhou and Ruotian Ma and Tao Gui and Yiding Tan and Qi Zhang and Xuanjing Huang},
journal= {arXiv preprint arXiv:2110.07331},
year = {2021}
}
备注
Work in Progress