MultiQA：阅读理解中泛化与迁移的实证研究
计算与语言
2019-06-03 v1 人工智能
机器学习
摘要
近期创建了大批阅读理解（RC）数据集，但关于它们是否相互泛化，以及现有数据集能在多大程度上用于提升在新数据集上的表现，却鲜有分析。本文对十个 RC 数据集开展此类研究，在一个或多个源 RC 数据集上训练，并评估泛化以及向目标 RC 数据集的迁移。我们分析了促成泛化的因素，并表明即便存在来自 BERT（Devlin et al., 2019）的强大上下文表示，在源 RC 数据集上训练并迁移到目标数据集仍会大幅改善性能。我们还发现，在多个源 RC 数据集上训练可带来稳健的泛化与迁移，并能降低为新 RC 数据集收集样本的成本。基于我们的分析，我们提出 MultiQA，一种基于 BERT、在多个 RC 数据集上训练的模型，其在五个 RC 数据集上取得了最先进的性能。我们共享我们的基础设施以惠及研究社区。
引用
@article{arxiv.1905.13453,
title = {MultiQA: An Empirical Investigation of Generalization and Transfer in Reading Comprehension},
author = {Alon Talmor and Jonathan Berant},
journal= {arXiv preprint arXiv:1905.13453},
year = {2019}
}
备注
accepted as a long paper at ACL 2019