QAMPARI：一个面向多段落多答案问题的开放域问答基准
计算与语言
2023-05-30 v4
摘要
现有的开放域问答（ODQA）基准通常聚焦于答案可从单个段落中提取的问题。相比之下，许多自然问题（如“哪些球员被布鲁克林篮网队选中？”）具有一列答案。回答此类问题需要在大规模语料库中检索并阅读多个段落。我们提出了 QAMPARI，一个 ODQA 基准，其问题答案为分散于多个段落中的实体列表。我们通过以下方式构建 QAMPARI：(a) 从维基百科知识图谱和表格中生成具有多个答案的问题，(b) 自动将答案与维基百科段落中的支撑证据配对，(c) 人工改写问题并验证每个答案。我们训练了 retrieve-and-read 系列的 ODQA 模型，发现 QAMPARI 在段落检索与答案生成两方面均具挑战性，最佳 F1 分数仅为 32.8。我们的结果凸显了开发能处理广泛问题类型（包括单答案与多答案问题）的 ODQA 模型的必要性。
引用
@article{arxiv.2205.12665,
title = {QAMPARI: An Open-domain Question Answering Benchmark for Questions with Many Answers from Multiple Paragraphs},
author = {Samuel Joseph Amouyal and Tomer Wolfson and Ohad Rubin and Ori Yoran and Jonathan Herzig and Jonathan Berant},
journal= {arXiv preprint arXiv:2205.12665},
year = {2023}
}