用于联合意图检测与槽位填充的基于注意力机制的循环神经网络模型
计算与语言
2016-09-07 v1
摘要
基于注意力机制的编码器-解码器神经网络模型近期在机器翻译和语音识别中展现出可喜的成果。在本工作中，我们提出了一种用于联合意图检测与槽位填充的基于注意力机制的神经网络模型，这两者是许多语音理解与对话系统的关键步骤。与机器翻译和语音识别不同，槽位填充中的对齐是显式的。我们探索了将对齐信息引入编码器-解码器框架的不同策略。借鉴编码器-解码器模型中的注意力机制，我们进一步提出在基于对齐的 RNN 模型中引入注意力。这种注意力为意图分类和槽位标签预测提供了额外信息。我们的独立任务模型在基准 ATIS 任务上实现了 SOTA 的意图检测错误率和槽位填充 F1 分数。我们的联合训练模型在独立任务模型的基础上，进一步将意图检测的绝对错误率降低了 0.56%（相对降低 23.8%），并在槽位填充上获得了 0.23% 的绝对提升。
引用
@article{arxiv.1609.01454,
title = {Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling},
author = {Bing Liu and Ian Lane},
journal= {arXiv preprint arXiv:1609.01454},
year = {2016}
}
备注
Accepted at Interspeech 2016