CheckThat! 2020 概述：社交媒体中声明的自动识别与核查
计算与语言
2020-07-17 v1 信息检索
机器学习
摘要
我们介绍 CLEF 2020 上第三届 CheckThat! Lab 的概述。该实验室包含两种不同语言（英语和阿拉伯语）下的五项任务。前四项任务构成了社交媒体中声明核查的完整流程：任务 1 为可核查性估计，任务 2 为检索先前已核查声明，任务 3 为证据检索，任务 4 为声明核查。实验室还包含任务 5，即政治辩论与演讲中的可核查性估计。共有 67 支队伍注册参与该实验室（高于 CLEF 2019 的 47 支），其中 23 支实际提交了运行结果（CLEF 2019 为 14 支）。大多数队伍使用了基于 BERT、LSTM 或 CNN 的深度神经网络，并在所有任务上相较基线取得了显著改进。在此我们描述任务设置、评估结果以及参与者所用方法的概要，并讨论一些经验教训。最后同样重要的是，我们向研究界发布了实验室的全部数据集以及评估脚本，应能推动可核查性估计与自动声明核查等重要任务的进一步研究。
引用
@article{arxiv.2007.07997,
title = {Overview of CheckThat! 2020: Automatic Identification and Verification of Claims in Social Media},
author = {Alberto Barron-Cedeno and Tamer Elsayed and Preslav Nakov and Giovanni Da San Martino and Maram Hasanain and Reem Suwaileh and Fatima Haouari and Nikolay Babulkov and Bayan Hamdan and Alex Nikolov and Shaden Shaar and Zien Sheikh Ali},
journal= {arXiv preprint arXiv:2007.07997},
year = {2020}
}
备注
Check-Worthiness Estimation, Fact-Checking, Veracity, Evidence-based Verification, Detecting Previously Fact-Checked Claims, Social Media Verification, Computational Journalism, COVID-19