一个用于回答时间敏感问题的数据集
计算与语言
2021-10-26 v5 人工智能
摘要
时间是我们物理世界的一个重要维度。许多事实可随时间演变。例如，美国总统可能每四年更换一次。因此，考虑时间维度并赋予现有QA模型时间推理能力十分重要。然而，现有QA数据集包含的时间敏感问题相当少，因此不适合诊断或基准测试模型的时间推理能力。为推动该方向的研究，我们提议构建一个时间敏感的QA数据集。该数据集通过以下方式构建：1）从WikiData中挖掘随时间演变的事实并将其对齐到对应的Wikipedia页面，2）雇佣众包工作者验证并校准这些噪声事实，3）基于标注的时间敏感事实生成问答对。我们的数据集在时间理解和时间推理两方面均提出挑战。我们在数据集上评估了不同的SOTA长文档QA系统，如BigBird和FiD。表现最好的模型FiD仅能达到46%准确率，仍远落后于人类87%的表现。我们证明这些模型仍缺乏执行一致时间推理的能力。因此，我们相信该数据集可作为开发对时间变化更敏感的NLP模型的基准。数据集与代码发布于\url{https://github.com/wenhuchen/Time-Sensitive-QA}。
引用
@article{arxiv.2108.06314,
title = {A Dataset for Answering Time-Sensitive Questions},
author = {Wenhu Chen and Xinyi Wang and William Yang Wang},
journal= {arXiv preprint arXiv:2108.06314},
year = {2021}
}
备注
Accepted to NeurIPS21 (dataset track), it contains 10 pages of main text and appendix