用于生成式序列标注的增强自然语言
计算与语言
2020-09-29 v1 机器学习
机器学习
摘要
我们提出了一种用于联合序列标注和句子级分类的生成式框架。我们的模型使用单一、共享的自然语言输出空间一次性执行多个序列标注任务。与先前的判别方法不同，我们的模型自然地融入了标签语义并在任务间共享知识。我们的框架是通用的，在少样本、低资源和高资源任务上均表现良好。我们在流行的命名实体识别、槽位标注和意图分类基准上展示了这些优势。我们在少样本槽位标注上确立了新的最先进水平，相较之前的5-shot（75.0% → 90.9%）和1-shot（70.4% → 81.0%）最先进结果有显著提升。此外，通过融入标签语义，我们的模型在低资源槽位标注上相较BERT基线取得了大幅改进（46.27% → 63.83%）。我们在高资源任务上也保持了有竞争力的结果，在所有任务上均处于最先进水平的两个百分点以内，并在SNIPS数据集上确立了新的最先进水平。
引用
@article{arxiv.2009.13272,
title = {Augmented Natural Language for Generative Sequence Labeling},
author = {Ben Athiwaratkun and Cicero Nogueira dos Santos and Jason Krone and Bing Xiang},
journal= {arXiv preprint arXiv:2009.13272},
year = {2020}
}
备注
To appear at EMNLP 2020