RoR：面向长文档机器阅读理解的反复阅读方法
计算与语言
2021-09-15 v2
摘要
基于Transformer的预训练模型（如BERT）在机器阅读理解上取得了显著成果。然而，由于编码长度的限制（例如512个WordPiece标记），长文档通常被分割为多个独立阅读的块。这导致阅读范围局限于单个块内，在长文档机器阅读理解中缺乏信息协作。为了解决这个问题，我们提出了一种反复阅读方法RoR，将阅读范围从块扩展到文档。具体而言，RoR包含一个块阅读器和一个文档阅读器。前者首先为每个块预测一组区域答案，随后将其压缩为原始文档的高度浓缩版本，以确保能够一次性编码。后者进一步从该浓缩文档中预测全局答案。最终，利用投票策略对区域答案和全局答案进行聚合和重排序，以进行最终预测。在QuAC和TriviaQA两个基准上的大量实验证明了RoR在长文档阅读中的有效性。值得注意的是，在提交时（2021年5月17日），RoR在QuAC排行榜（https://quac.ai/）上排名第一。
关键词
引用
@article{arxiv.2109.04780,
title = {RoR: Read-over-Read for Long Document Machine Reading Comprehension},
author = {Jing Zhao and Junwei Bao and Yifan Wang and Yongwei Zhou and Youzheng Wu and Xiaodong He and Bowen Zhou},
journal= {arXiv preprint arXiv:2109.04780},
year = {2021}
}
备注
Accepted as findings of EMNLP2021