FEVER：一个用于事实抽取与验证的大规模数据集

本文介绍了一个用于基于文本来源进行验证的新的公开可用数据集 FEVER：Fact Extraction and VERification（事实抽取与验证）。该数据集由 185,445 条声明组成，这些声明通过对从 Wikipedia 提取的句子进行改写生成，随后在不告知其来源句子的情况下进行验证。标注者将声明分类为 Supported（支持）、Refuted（反驳）或 NotEnoughInfo（信息不足），其 Fleiss $\kappa$ 值为 0.6841。对于前两类，标注者还记录了构成其判断所需证据的一个或多个句子。为刻画所提出数据集的挑战性，我们开发了一种流水线方法，并将其与适当设计的 oracle 进行比较。在配有正确证据的情况下，我们在声明标注上达到的最佳准确率为 31.87%，而若忽略证据则达到 50.91%。因此，我们认为 FEVER 是一个具有挑战性的测试平台，将有助于推动基于文本来源的声明验证方面的进展。