MRNN：一种用于问答背景下文档检索的多分辨率双注意力神经网络
信息检索
2019-11-05 v1 计算与语言
摘要
临时检索（问答背景下的文档检索）的主要目标是找到满足自然语言查询所表达信息需求的相关文档。这需要对查询和语料库中所有文档有良好的理解，而由于自然语言文本的含义依赖于上下文、句法和语义，这一目标难以实现。近来深度神经网络已被用于针对查询对搜索结果进行排序。本文设计了一种多分辨率神经网络（MRNN）以利用整个表示层次结构进行文档检索。所提出的 MRNN 模型能够推导出融合从所学层次化表示各层提取的不同抽象级别表示的表征。此外，设计了一个双注意力组件来精炼多分辨率表示，从而确定匹配查询与文档的最优上下文。更具体地，第一种注意力机制从所学的查询与文档的多分辨率表示中确定最优上下文。后一种注意力机制旨在微调表示，使查询与相关文档在距离上更为接近。实证研究表明，带有双注意力的 MRNN 在包括 SQuAD、WikiQA、QUASAR 和 TrecQA 在内的基准数据集上显著优于现有的临时检索模型。
引用
@article{arxiv.1911.00964,
title = {MRNN: A Multi-Resolution Neural Network with Duplex Attention for Document Retrieval in the Context of Question Answering},
author = {Tolgahan Cakaloglu and Xiaowei Xu},
journal= {arXiv preprint arXiv:1911.00964},
year = {2019}
}