基于条件化 LSTM 解码器与双向注意的问答系统

Heguang Liu

基于条件化 LSTM 解码器与双向注意的问答系统

计算与语言 2019-05-07 v1 人工智能机器学习机器学习

作者: Heguang Liu

摘要

近年来,将神经网络应用于问答系统日益流行。在本文中,我实现了一个模型,其包含双向注意力流层,连接多层 LSTM 编码器,再连接一个起始索引解码器与一个条件化结束索引解码器。我引入了一个新的结束索引解码器层,以起始索引输出为条件。实验表明这使模型性能提升了 15.16%。在预测方面,我提出了一种新的 smart-span 方程,对短答案长度与起始、结束索引中的高概率均给予奖励,进一步提高了预测准确率。最佳单一模型在测试集上取得了 73.97% 的 F1 分数与 64.95% 的 EM 分数。

关键词

问答系统双向注意力流 LSTM 解码器起始索引解码器结束索引解码器 smart-span 方程 F1 分数

引用

@article{arxiv.1905.02019,
  title  = {Conditioning LSTM Decoder and Bi-directional Attention Based Question Answering System},
  author = {Heguang Liu},
  journal= {arXiv preprint arXiv:1905.02019},
  year   = {2019}
}

备注

7 pages, 7 figures

基于条件化 LSTM 解码器与双向注意的问答系统

摘要

关键词

引用

备注

相关论文