从段落生成问题:两个分层模型的故事
计算与语言
2019-11-11 v1
摘要
从段落自动生成问题是一个重要且具有挑战性的问题,尤其是由于段落带来的长上下文。在本文中,我们提出并研究了两个用于段落问题生成任务的分层模型。具体而言,我们提出(a)一个带有选择性注意力的新颖分层 BiLSTM 模型,以及(b)一个新颖的分层 Transformer 架构,二者均学习段落的分层表示。我们将段落按其组成句子建模,将句子按其组成词建模。虽然注意力机制的引入有益于分层 BiLSTM 模型,但具有固有注意力与位置编码机制的分层 Transformer 也优于扁平 transformer 模型。我们使用标准指标在广泛使用的 SQuAD 与 MS MARCO 数据集上进行了经验评估。结果证明了分层模型相对于其扁平对应模型的整体有效性。在定性上,我们的分层模型能够生成流畅且相关的问题。
引用
@article{arxiv.1911.03407,
title = {Question Generation from Paragraphs: A Tale of Two Hierarchical Models},
author = {Vishwajeet Kumar and Raktim Chaki and Sai Teja Talluri and Ganesh Ramakrishnan and Yuan-Fang Li and Gholamreza Haffari},
journal= {arXiv preprint arXiv:1911.03407},
year = {2019}
}