Check-COVID：基于科学证据的事实核查 COVID-19 新闻声明
计算与语言
2023-05-30 v1 人工智能
计算机与社会
摘要
我们提出一个新的事实核查基准 Check-COVID，要求系统利用科学文献中的证据来验证新闻中关于 COVID-19 的声明。这种事实核查方式尤其具有挑战性，因为它需要将日常语言撰写的互联网文本与正式学术语言撰写的期刊文章证据进行比对。Check-COVID 包含 1,504 条专家标注的关于冠状病毒的新闻声明，每条均配以来自科学期刊文章的句子级证据及真实性标签。它包含提取型（记者撰写）和编写型（标注者撰写）两类声明。使用专用事实核查系统与 GPT-3.5 的实验分别在该任务上取得了 76.99 和 69.90 的 F1 分数，揭示了自动核查两类声明的困难性以及领域内数据对良好性能的重要性。我们的数据与模型已公开于 https://github.com/posuer/Check-COVID。
引用
@article{arxiv.2305.18265,
title = {Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence},
author = {Gengyu Wang and Kate Harwood and Lawrence Chillrud and Amith Ananthram and Melanie Subbiah and Kathleen McKeown},
journal= {arXiv preprint arXiv:2305.18265},
year = {2023}
}
备注
Accepted as ACL 2023 Findings