事实或虚构：科学论断的验证
计算与语言
2020-10-06 v6
摘要
我们提出科学论断验证这一新任务，即从研究文献中筛选包含支持（SUPPORTS）或反驳（REFUTES）给定科学论断证据的摘要，并识别证明各决策合理性的依据（rationales）。为研究该任务，我们构建了 SciFact，一个包含 1.4K 条专家撰写科学论断、并配对带有标签与依据的证据性摘要的数据集。我们为 SciFact 开发了基线模型，并证明简单的领域自适应技术相比基于维基百科或政治新闻训练的模型可大幅提升性能。我们展示了我们的系统能够通过从 CORD-19 语料库中识别证据来验证与 COVID-19 相关的论断。我们的实验表明，SciFact 将为开发旨在检索并推理包含专业领域知识语料库的新系统提供一个具有挑战性的测试平台。该新任务的数据与代码已公开于 https://github.com/allenai/scifact。排行榜与 COVID-19 事实核查演示可访问 https://scifact.apps.allenai.org。
引用
@article{arxiv.2004.14974,
title = {Fact or Fiction: Verifying Scientific Claims},
author = {David Wadden and Shanchuan Lin and Kyle Lo and Lucy Lu Wang and Madeleine van Zuylen and Arman Cohan and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2004.14974},
year = {2020}
}
备注
EMNLP 2020. GitHub: https://github.com/allenai/scifact. Leaderboard and demo: https://scifact.apps.allenai.org