面向机器阅读理解的多范围推理
计算与语言
2018-03-28 v1 人工智能
神经与进化计算
摘要
我们提出了 MRU (Multi-Range Reasoning Units)，一种用于机器阅读理解 (MC) 的快速组合编码器。我们提出的 MRU 编码器以多范围门控为特征，执行一系列参数化的收缩与扩展层，以学习从长短期依赖中受益的门控向量。本方法的目标如下：(1) 学习同时感知长短期上下文的表示，(2) 建模文档内区块间的关系，以及 (3) 快速高效的序列编码。我们表明，所提出的编码器无论是作为独立编码器还是作为互补构建模块，均展现出令人鼓舞的效果。我们在三个具有挑战性的 MC 数据集（即 RACE、SearchQA 和 NarrativeQA）上进行了广泛实验，在所有数据集上均取得了极具竞争力的性能。在 RACE 基准测试中，我们的模型在不使用任何循环或卷积层的情况下，性能比 DFN (Dynamic Fusion Networks) 高出 1.5%-6%。类似地，在不使用任何 LSTM/GRU 层的情况下，我们在 SearchQA 基准测试上取得了优于 AMANDA 的性能，并在 NarrativeQA 基准测试上取得了与 BiDAF 相当的性能。最后，将 MRU 编码器与标准 BiLSTM 架构相结合进一步提升了性能，取得了 SOTA 结果。
引用
@article{arxiv.1803.09074,
title = {Multi-range Reasoning for Machine Comprehension},
author = {Yi Tay and Luu Anh Tuan and Siu Cheung Hui},
journal= {arXiv preprint arXiv:1803.09074},
year = {2018}
}