用于联合槽填充与意图检测的增强型预训练 Transformer
计算与语言
2021-10-06 v2
摘要
检测用户意图并在话语词句中找到相应槽位是自然语言理解中的重要任务。它们的相互关联特性使得联合建模成为训练此类模型的标准环节。此外，数据稀缺和专业词汇带来了额外挑战。近来，预训练语言模型尤其是 ELMo 和 BERT 等上下文模型的进展，通过挖掘仅需少量任务特定数据集微调步骤即可训练超大模型的潜力，彻底改变了该领域。在此，我们利用此类模型（即 BERT 和 RoBERTa），并在其之上设计了一种新颖架构。此外，我们提出了一种意图池化注意力机制，并通过融合意图分布、词特征和词元表示来强化槽填充任务。在标准数据集上的实验结果表明，我们的模型优于当前非 BERT 的最优方法以及一些更强的基于 BERT 的基线。
引用
@article{arxiv.2004.14848,
title = {Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection},
author = {Momchil Hardalov and Ivan Koychev and Preslav Nakov},
journal= {arXiv preprint arXiv:2004.14848},
year = {2021}
}