用于机器阅读理解的动态融合网络
计算与语言
2018-02-28 v2
摘要
本文提出一种新颖的神经网络模型——动态融合网络（Dynamic Fusion Network, DFN），用于机器阅读理解（MRC）。DFN 与多数最先进模型的不同之处在于其使用了动态多策略注意力过程，其中段落、问题与答案候选被联合融合为注意力向量，并配以动态多步推理模块以生成答案。借助强化学习，对于由问题、段落和答案候选列表组成的每个输入样本，可通过确定采用何种注意力策略以及进行多少推理步数，动态构建具有样本专属网络架构的 DFN 实例。实验表明，DFN 在 RACE（一个包含多种类型真实人类阅读问题的具挑战性 MRC 数据集）上取得了已报道的最佳结果。详细的实证分析也证明，DFN 能比其它流行 MRC 模型更有效地生成汇总问题、段落与答案候选信息的注意力向量。
引用
@article{arxiv.1711.04964,
title = {Dynamic Fusion Networks for Machine Reading Comprehension},
author = {Yichong Xu and Jingjing Liu and Jianfeng Gao and Yelong Shen and Xiaodong Liu},
journal= {arXiv preprint arXiv:1711.04964},
year = {2018}
}
备注
13 pages, 5 figures, 5 tables