构建新闻领域的问答系统
计算与语言
2021-05-13 v1 人工智能
摘要
本项目尝试构建新闻领域的问答系统，其中语段为新闻文章，任何人都可针对其提出问题。我们构建了一个基于跨度的注意力机制模型，该模型将问题的答案预测为段落中起始与结束词符的位置。为训练模型，我们使用了 Stanford 问答数据集（SQuAD 2.0）[1]。要在 SQuAD 2.0 上表现良好，系统不仅必须在可能时回答问题，还需判断段落不支持答案时 abstain from answering（拒答）。我们的模型架构包含三层——嵌入层、RNN 层与注意力层。嵌入层使用了 GloVe 与 Universal Sentence Encoder。RNN 层我们构建了包括双向 LSTM 与堆叠 LSTM 的变体，并采用上下文到问题注意力构建了注意力层，同时对创新的双向注意力层进行了改进。我们性能最佳的模型结合 GloVe 嵌入、Bi-LSTM 与上下文到问题注意力，分别取得了 33.095 与 33.094 的 F1 分数与 EM。我们还利用迁移学习，使用 BERT 构建了基于 Transformer 的模型。基于 BERT 的模型分别取得了 57.513 与 49.769 的 F1 分数与 EM。我们得出结论：BERT 模型在回答各类问题的一切方面均更优。
引用
@article{arxiv.2105.05744,
title = {Building a Question and Answer System for News Domain},
author = {Sandipan Basu and Aravind Gaddala and Pooja Chetan and Garima Tiwari and Narayana Darapaneni and Sadwik Parvathaneni and Anwesh Reddy Paduri},
journal= {arXiv preprint arXiv:2105.05744},
year = {2021}
}