语言增强与上下文感知的零样本槽填充
计算与语言
2021-01-19 v1
摘要
槽填充是识别话语中对应于用户请求/查询某些参数（即槽）的连续词段。槽填充是现代任务型对话系统中最重要的挑战之一。监督学习方法已证明能有效应对该挑战，但其需要给定领域中大量标注训练数据。然而，部署后可能出现新领域（即训练中未见过）。因此，这些模型必须无缝适应并填充已见与未见领域的槽——未见领域包含无训练数据的未见槽类型，且即便未见领域中的已见槽通常也呈现于不同上下文中。该设定通常被称为零样本槽填充。极少工作关注此设定，且实验评估有限。主要依赖上下文无关、基于嵌入的相似度度量的现有模型无法检测未见领域中的槽值或仅能部分检测。我们提出一种新的零样本槽填充神经模型LEONA，其分三步工作。第一步通过利用（a）语言特征；（b）命名实体识别线索；（c）来自预训练语言模型的上下文嵌入，获取话语词的领域无关、上下文感知表示。第二步微调这些丰富表示并为每个词产生槽无关标签。第三步利用词级可泛化上下文感知话语-槽相似度特征，使用槽无关标签并将其上下文化以对每个词产生槽特定预测。我们在四个不同公开数据集上的详尽评估表明，我们的方法在SNIPS、ATIS、MultiWOZ和SGD数据集的未见领域上平均分别持续优于SOTA模型17.52%、22.15%、17.42%和17.95%。
引用
@article{arxiv.2101.06514,
title = {Linguistically-Enriched and Context-Aware Zero-shot Slot Filling},
author = {A. B. Siddique and Fuad Jamour and Vagelis Hristidis},
journal= {arXiv preprint arXiv:2101.06514},
year = {2021}
}