ReadTwice：利用记忆阅读超长文档
计算与语言
2021-05-13 v2 机器学习
摘要
知识密集型任务如问答通常需要从书籍或文章集合等大型输入的不同部分吸收信息。我们提出 ReadTwice，一种简单而有效的技术，结合了先前多种方法用 Transformer 建模长程依赖的优势。其核心思想是分段并行阅读文本，将每段总结为记忆表，用于文本的第二遍阅读。我们表明该方法在多个问答（QA）数据集上优于同等规模的模型，并在具挑战性的 NarrativeQA 任务（针对整本书的提问）上达到新的 state of the art。ReadTwice 的源代码与预训练检查点可在 https://goo.gle/research-readtwice 找到。
引用
@article{arxiv.2105.04241,
title = {ReadTwice: Reading Very Large Documents with Memories},
author = {Yury Zemlyanskiy and Joshua Ainslie and Michiel de Jong and Philip Pham and Ilya Eckstein and Fei Sha},
journal= {arXiv preprint arXiv:2105.04241},
year = {2021}
}
备注
To appear in the proceedings of NAACL 2021