认为已解决直接回答式问答？试试ARC-DA：直接回答式AI2推理挑战
计算与语言
2021-02-08 v1 人工智能
摘要
我们提出ARC-DA数据集，即ARC（AI2推理挑战）多选题数据集的直接回答式（“开放回答”、“自由形式”）版本。尽管ARC在社区中颇具影响，其多选格式并不能代表真实世界问题，且多选格式尤其易受伪影影响。ARC-DA数据集通过结合众包与专家审核将问题转为直接回答格式，从而解决这些担忧。所得数据集包含2985个问题，共有8436个有效答案（问题通常具有不止一个有效答案）。ARC-DA是最早的自然问题直接回答式数据集之一，其问题常需推理，且从问题本身难以看出恰当的问题分解。我们描述了所采用的转换方法、恰当的评估指标以及若干强模型。尽管分数较高，最佳成绩（GENIE 81%、F1 61.4%、ROUGE-L 63.2%）仍留有相当改进空间。此外，该数据集为解释性研究提供了天然场景，因为许多问题需推理以构建答案。我们希望该数据集能推动社区在复杂问答上的进一步进展。ARC-DA可从 https://allenai.org/data/arc-da 获取。
引用
@article{arxiv.2102.03315,
title = {Think you have Solved Direct-Answer Question Answering? Try ARC-DA, the Direct-Answer AI2 Reasoning Challenge},
author = {Sumithra Bhakthavatsalam and Daniel Khashabi and Tushar Khot and Bhavana Dalvi Mishra and Kyle Richardson and Ashish Sabharwal and Carissa Schoenick and Oyvind Tafjord and Peter Clark},
journal= {arXiv preprint arXiv:2102.03315},
year = {2021}
}