VAULT：面向机器阅读理解的可变统一长文本表示
计算与语言
2021-06-03 v2
摘要
现有的机器阅读理解（MRC）模型需要复杂的模型架构来有效建模长文本，进行段落表示与分类，从而导致推理在生产环境中计算效率低下。在本工作中，我们提出 VAULT：一种基于长文档输入的上下文表示、面向 MRC 的轻量且并行高效的段落表示方法，使用一种新的基于高斯分布的目标函数进行训练，该函数密切关注接近真实标注的部分正确样本。我们在两个需要长上下文建模的基准 MRC 数据集上验证了我们的 VAULT 架构；一个基于维基百科（Natural Questions (NQ)），另一个基于技术笔记（TechQA）。VAULT 在 NQ 上能以比最先进（SOTA）的复杂文档建模方法快 16 倍的速度取得相当的性能，展示了我们所提模型的效率。我们还证明，我们的模型也可以有效地迁移到一个完全不同的领域——TechQA——相较基于先前发布的大型预训练语言模型（PLM）微调的模型有大幅改进。
引用
@article{arxiv.2105.03229,
title = {VAULT: VAriable Unified Long Text Representation for Machine Reading Comprehension},
author = {Haoyang Wen and Anthony Ferritto and Heng Ji and Radu Florian and Avirup Sil},
journal= {arXiv preprint arXiv:2105.03229},
year = {2021}
}
备注
Accepted at ACL 2021