沉思阅读器：基于门控多跳注意力的推理
计算与语言
2017-04-26 v1
摘要
为了在机器阅读理解（MC）任务中回答问题，模型需要建立问题与上下文之间的交互。为解决单遍模型无法反思并修正其答案的问题，我们提出沉思阅读器（Ruminating Reader）。沉思阅读器在双向注意力流模型（BiDAF）的基础上增加了第二遍注意力和一种新颖的信息融合组件。我们提出了新颖的层结构，在BiDAF模型之上构建查询感知的上下文向量表示，并将编码表示与中间表示相融合。我们展示了多跳注意力机制可应用于双向注意力结构。在SQuAD上的实验中，我们发现该阅读器大幅优于BiDAF基线，并达到或超越所有其他已发表系统的性能。
引用
@article{arxiv.1704.07415,
title = {Ruminating Reader: Reasoning with Gated Multi-Hop Attention},
author = {Yichen Gong and Samuel R. Bowman},
journal= {arXiv preprint arXiv:1704.07415},
year = {2017}
}
备注
10 pages, 6 figures