审慎选择你的QA模型：生成式与抽取式阅读器的系统性研究
计算与语言
2022-03-16 v1
摘要
尽管抽取式和生成式阅读器都已成功应用于问答（QA）任务，但针对二者系统性比较的关注甚少。刻画两类阅读器的优势与劣势，不仅对于在实践中做出更明智的阅读器选择至关重要，也有助于深化理解以推动未来以原则性方式改进阅读器的研究。受此目标驱动，我们首次尝试系统性研究问答中抽取式与生成式阅读器的比较。为与最先进水平对齐，我们探索了九种基于Transformer的大型预训练语言模型（PrLM）作为骨干架构。此外，我们将发现归为两大类：（1）保持架构不变，以及（2）变换底层PrLM。在若干有趣发现中，需重点强调：（1）生成式阅读器在长上下文QA中表现更优，（2）抽取式阅读器在短上下文中表现更优且展现出更好的域外泛化能力，以及（3）编码器-解码器PrLM（如T5）的编码器实为一个强抽取式阅读器，优于标准的仅编码器PrLM（如RoBERTa）选择。我们还研究了多任务学习对两类阅读器（变换底层PrLM）的影响，并进行定性与定量诊断，以期为建模更优阅读器的未来方向提供进一步见解。
引用
@article{arxiv.2203.07522,
title = {Choose Your QA Model Wisely: A Systematic Study of Generative and Extractive Readers for Question Answering},
author = {Man Luo and Kazuma Hashimoto and Semih Yavuz and Zhiwei Liu and Chitta Baral and Yingbo Zhou},
journal= {arXiv preprint arXiv:2203.07522},
year = {2022}
}