MythQA：基于查询的大规模待核查声明检测——通过多答案开放域问答实现
计算与语言
2023-07-25 v1 信息检索
摘要
待核查声明检测旨在为下游事实核查系统或人类专家提供可信的误传信息以进行核查，这是加速事实核查过程的关键一步。已有诸多工作致力于如何从小规模预收集声明中识别待核查声明，但如何直接从Twitter等大规模信息源高效检测待核查声明仍鲜有探索。为填补此空白，我们提出MythQA，一项新的多答案开放域问答（QA）任务，涉及基于查询的大规模待核查声明检测中的矛盾立场挖掘。其背后的思想是：矛盾声明是误传信息的强指示符，值得有关当局审查。为研究该任务，我们构建了TweetMythQA，一个包含基于争议话题的522个事实型多答案问题的评测数据集。每个问题标注了多个答案。此外，我们为每个不同答案收集相关推文，并将其分类为“支持”、“反驳”和“中立”三类。总计标注了5.3K条推文。数据集中所有答案均收集了矛盾证据。最后，我们给出MythQA的基线系统，并使用TweetMythQA数据集对现有NLP模型各组件进行评估。我们提供了初始基准并指明了未来模型需改进的关键挑战。代码与数据见：https://github.com/TonyBY/Myth-QA
引用
@article{arxiv.2307.11848,
title = {MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering},
author = {Yang Bai and Anthony Colas and Daisy Zhe Wang},
journal= {arXiv preprint arXiv:2307.11848},
year = {2023}
}
备注
Accepted by SIGIR 2023