基于高阶注意力的意图检测与槽填充联合建模
计算与语言
2021-09-23 v2
摘要
意图检测（ID）与槽填充（SF）是口语语言理解（SLU）中的两大主要任务。近来，注意力机制已被证明能以交互方式联合优化这两项任务。然而，最新的基于注意力的研究仅集中于的一阶注意力设计，忽略了对高阶注意力机制的探索。本文中，我们提出双线性注意力块，利用双线性池化同时利用上下文与通道双线性注意力分布，以捕获输入意图或槽特征间的二阶交互。通过堆叠多个块并为块分配指数线性单元（ELU），构建了更高乃至无穷阶交互。在解码阶段前，我们引入动态特征融合层以更有效的方式隐式融合意图与槽信息。从技术上讲，我们并非简单拼接意图与槽特征，而是先计算两个相关矩阵对两个特征加权。此外，我们提出用于 SLU 任务的高阶注意力网络。在两个基准数据集上的实验表明，与最先进方法相比我们的方法取得了提升。我们也提供讨论以证明所提方法的有效性。
引用
@article{arxiv.2109.08890,
title = {Towards Joint Intent Detection and Slot Filling via Higher-order Attention},
author = {Dongsheng Chen and Zhiqi Huang and Xian Wu and Shen Ge and Yuexian Zou},
journal= {arXiv preprint arXiv:2109.08890},
year = {2021}
}
备注
The authors withdraw the manuscript and will update it in the original arXiv address (arXiv:2108.11916)