IfQA：一个基于反事实预设的开放域问答数据集
计算与语言
2023-05-24 v1
摘要
尽管反事实推理是智能的基本方面，但缺乏大规模反事实开放域问答（QA）基准使得难以评估和改进模型在此方面的能力。为填补这一空白，我们引入了首个此类数据集，名为 IfQA，其中每个问题都基于通过“if”从句给出的反事实预设。例如，如果洛杉矶位于美国东海岸，洛杉矶与巴黎的时差是多少？此类问题要求模型超越从 Web 检索直接事实知识：它们必须识别要检索的正确信息，并对甚至可能违背其参数中内置事实的想象情形进行推理。IfQA 数据集包含超过 3,800 个由众包标注者在相关维基百科段落上标注的问题。实证分析表明，IfQA 数据集对现有开放域 QA 方法极具挑战性，包括有监督的检索后阅读流水线方法（EM 分数 36.2），以及近期的少样本方法如带 GPT-3 的思维链提示（EM 分数 27.4）。IfQA 基准所提出的独特挑战将推动开放域 QA 在检索与反事实推理两方面的研究。
引用
@article{arxiv.2305.14010,
title = {IfQA: A Dataset for Open-domain Question Answering under Counterfactual Presuppositions},
author = {Wenhao Yu and Meng Jiang and Peter Clark and Ashish Sabharwal},
journal= {arXiv preprint arXiv:2305.14010},
year = {2023}
}