面向快速机器阅读理解的综合 triaging 框架
计算与语言
2019-10-01 v1
摘要
尽管根据若干基准测试，自动机器阅读理解（MRC）系统近来已达到超越人类的性能，但其计算效率却鲜受关注。然而，效率对于真实应用场景中的训练与部署至关重要。本文提出 Integrated Triaging（综合 triaging），一种在网络早期层剪除几乎所有上下文、使剩余（深层）层仅扫描完整语料中极小部分的框架。该剪除大幅提升了 MRC 模型的效率，并进一步防止后续层对训练集中普遍的短段落过拟合。我们的框架极为灵活，可自然应用于多种各异的模型。我们在 doc-SQuAD 与 TriviaQA 任务上的实验证明了其在持续改善多种不同 MRC 模型速度与质量方面的有效性。
引用
@article{arxiv.1909.13128,
title = {Integrated Triaging for Fast Reading Comprehension},
author = {Felix Wu and Boyi Li and Lequn Wang and Ni Lao and John Blitzer and Kilian Q. Weinberger},
journal= {arXiv preprint arXiv:1909.13128},
year = {2019}
}
备注
Technical report