MISCA：一种具有意图-槽位共注意力的多意图检测与槽位填充联合模型
计算与语言
2023-12-12 v1
摘要
检测多个意图和填充槽位的研究因其与复杂现实场景的相关性而变得越来越流行。最近基于图的联合模型可能仍面临两个潜在问题：（i）基于初步意图和槽位构建图所引入的不确定性，这可能会将意图-槽位相关性信息传递到错误的标签节点目的地；（ii）对于每个标记，直接合并多个意图标签（关于标记级意图投票）可能导致错误的槽位预测，从而损害整体性能。为了解决这两个问题，我们提出了一个名为MISCA的联合模型。我们的MISCA引入了意图-槽位共注意力机制和底层标签注意力机制。这些机制使MISCA能够有效捕获意图和槽位标签之间的相关性，无需构建图。它们还通过多级标签特定表示，促进相关性信息从意图到槽位以及从槽位到意图的双向传递，而不依赖于标记级意图信息。实验结果表明，MISCA优于之前的模型，在两个基准数据集MixATIS和MixSNIPS上取得了新的最先进整体准确率性能。这突显了我们注意力机制的有效性。
引用
@article{arxiv.2312.05741,
title = {MISCA: A Joint Model for Multiple Intent Detection and Slot Filling with Intent-Slot Co-Attention},
author = {Thinh Pham and Chi Tran and Dat Quoc Nguyen},
journal= {arXiv preprint arXiv:2312.05741},
year = {2023}
}
备注
Findings of EMNLP 2023 (https://aclanthology.org/2023.findings-emnlp.841.pdf); Long paper - 10 pages; 3 figures and 3 tables