用于长叙事阅读理解的高效课程指针生成器网络
计算与语言
2019-05-28 v1 人工智能
信息检索
摘要
本文解决长叙事上的阅读理解问题，其中文档轻易跨越数千词元。我们提出一种基于课程学习（CL）的指针-生成器（Pointer-Generator）框架，用于在大文档上阅读/采样，基于交替上下文难度的概念实现神经模型的多样化训练。这可解释为训练期间的一种域随机化和/或生成式预训练。为此，指针-生成器的使用放宽了答案须位于上下文中的要求，使我们能构造多样化的训练样本用于学习。此外，我们提出一种新的内省对齐层（IAL），其利用基于块的自注意力对分解对齐进行推理。我们在 NarrativeQA 阅读理解基准上评估所提方法，取得了最先进性能，相对已有基线在 BLEU-4 上提升 、在 Rouge-L 上提升 。大量消融实验证实了我们所提 IAL 与 CL 组件的有效性。
引用
@article{arxiv.1905.10847,
title = {Simple and Effective Curriculum Pointer-Generator Networks for Reading Comprehension over Long Narratives},
author = {Yi Tay and Shuohang Wang and Luu Anh Tuan and Jie Fu and Minh C. Phan and Xingdi Yuan and Jinfeng Rao and Siu Cheung Hui and Aston Zhang},
journal= {arXiv preprint arXiv:1905.10847},
year = {2019}
}
备注
Accepted to ACL 2019