用于联合槽填充和意图检测的协同交互Transformer
计算与语言
2021-03-09 v3
摘要
意图检测和槽填充是构建口语理解（SLU）系统的两个主要任务。这两个任务密切相关，一个任务的信息可以用于另一个任务。先前的研究要么分别建模这两个任务，要么只考虑从意图到槽的单向信息流。之前的方法都没有同时建模两个任务之间的双向连接。在本文中，我们提出了一个协同交互Transformer来考虑两个任务之间的交叉影响。我们没有采用标准Transformer中的自注意力机制，而是提出了一个协同交互模块，通过构建两个相关任务之间的双向连接来考虑交叉影响。此外，所提出的协同交互模块可以堆叠，以通过相互特征逐步增强彼此。在两个公共数据集（SNIPS和ATIS）上的实验结果表明，我们的模型取得了最先进的性能，总体准确率分别提高了3.4%和0.9%。大量实验经验性地验证了我们的模型成功捕获了相互交互知识。
引用
@article{arxiv.2010.03880,
title = {A Co-Interactive Transformer for Joint Slot Filling and Intent Detection},
author = {Libo Qin and Tailu Liu and Wanxiang Che and Bingbing Kang and Sendong Zhao and Ting Liu},
journal= {arXiv preprint arXiv:2010.03880},
year = {2021}
}
备注
Accepted at ICASSP 2021