自动化文本主张验证 (AVeriTeC) 共享任务
计算与语言
2024-11-01 v1
摘要
自动化文本主张验证 (AVeriTeC) 共享任务要求参赛者检索证据并预测真实世界主张的真伪，这些主张由事实核查员进行核查。证据可以通过搜索引擎或通过组织者提供的知识库获取。提交的评估使用 AVeriTeC 分数，该分数仅当裁决正确且检索到的证据被认为满足特定质量阈值时，才认为该主张被准确验证。该共享任务收到了 21 份提交，其中 18 份超过了我们的基线。获胜团队是 TUDA_MAI，获得 63% 的 AVeriTeC 分数。本文描述了该共享任务，呈现了完整结果，并概述了该共享任务的关键收获。
引用
@article{arxiv.2410.23850,
title = {The Automated Verification of Textual Claims (AVeriTeC) Shared Task},
author = {Michael Schlichtkrull and Yulong Chen and Chenxi Whitehouse and Zhenyun Deng and Mubashara Akhtar and Rami Aly and Zhijiang Guo and Christos Christodoulopoulos and Oana Cocarascu and Arpit Mittal and James Thorne and Andreas Vlachos},
journal= {arXiv preprint arXiv:2410.23850},
year = {2024}
}