CrowdChecked:社交媒体中已事实核查声明的检测
计算与语言
2022-10-11 v1 信息检索
机器学习
社会与信息网络
摘要
尽管在开发自动化事实核查系统方面已取得实质性进展,但这些系统在用户眼中仍缺乏可信度。因此,一种有趣的方法应运而生:通过验证输入声明是否已被专业事实核查人员先前核查过,并返回解释其决定的文章来进行自动事实核查。这是一种明智的方法,因为人们信任人工事实核查,且许多声明被多次重复。然而,构建此类系统时的一个主要问题是可用于训练的已知推文—核查文章对数量很少。在此,我们旨在通过利用众包事实核查,即挖掘社交媒体中用户以事实核查文章链接作为回复的声明,来弥补这一差距。具体而言,我们挖掘了规模为 330,000 条推文且与相应事实核查文章配对的大型集合。我们进一步提出了一种端到端框架,在远程监督场景下基于改进的自适应训练从这一噪声数据中学习。我们在 CLEF'21 CheckThat! 测试集上的实验显示,相较最先进水平绝对提升两个点。我们的代码与数据集可在 https://github.com/mhardalov/crowdchecked-claims 获取。
引用
@article{arxiv.2210.04447,
title = {CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media},
author = {Momchil Hardalov and Anton Chernyavskiy and Ivan Koychev and Dmitry Ilvovsky and Preslav Nakov},
journal= {arXiv preprint arXiv:2210.04447},
year = {2022}
}
备注
Accepted to AACL-IJCNLP 2022 (Main Conference)