用于基于序列标注的口语理解的带聚焦机制编码器-解码器
计算与语言
2017-03-14 v2
摘要
本文研究用于基于序列标注的口语理解的带注意力机制的编码器-解码器框架。我们引入双向长短期记忆-长短期记忆网络(BLSTM-LSTM)作为编码器-解码器模型，以充分利用深度学习的威力。在序列标注任务中，输入与输出序列逐词对齐，而注意力机制无法提供精确对齐。为解决此局限，我们提出一种用于编码器-解码器框架的新颖聚焦机制。在标准 ATIS 数据集上的实验表明，带聚焦机制的 BLSTM-LSTM 通过超越标准 BLSTM 和基于注意力的编码器-解码器确立了新的最优性能(state-of-the-art)。进一步实验还显示所提模型对语音识别错误更具鲁棒性。
引用
@article{arxiv.1608.02097,
title = {Encoder-decoder with Focus-mechanism for Sequence Labelling Based Spoken Language Understanding},
author = {Su Zhu and Kai Yu},
journal= {arXiv preprint arXiv:1608.02097},
year = {2017}
}
备注
5 pages, 2 figures