用于意图检测的自注意力网络
计算与语言
2020-06-30 v1
摘要
自注意力网络（SAN）已在多种自然语言处理（NLP）场景中展现出良好性能，尤其在机器翻译中。SAN的主要优势之一是从数据中捕获长程与多尺度依赖的能力。本文提出一种基于自注意力网络与Bi-LSTM的新型意图检测系统。相较于先前方案，我们的方法通过使用transformer模型和基于深度平均网络的通用句子编码器取得改进。我们在Snips、Smart Speaker、Smart Lights和ATIS数据集上以不同评价指标对系统进行评估。所提模型的性能与LSTM在相同数据集上进行比较。
引用
@article{arxiv.2006.15585,
title = {Self-Attention Networks for Intent Detection},
author = {Sevinj Yolchuyeva and Géza Németh and Bálint Gyires-Tóth},
journal= {arXiv preprint arXiv:2006.15585},
year = {2020}
}
备注
Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019)