Ta'keed：首个针对阿拉伯语声明的生成式事实核查系统
计算与语言
2024-01-26 v1 人工智能
摘要
本文介绍了 Ta'keed，一个可解释的阿拉伯语自动事实核查系统。虽然现有研究通常侧重于将声明分类为“真”或“假”，但对生成声明可信度解释的探索仍然有限，尤其是在阿拉伯语方面。Ta'keed 通过基于检索片段评估声明的真实性来填补这一空白，利用了两个主要组件：信息检索和基于 LLM 的声明验证。我们编制了 ArFactEx，一个带有手动论证参考的测试黄金标签数据集，以评估该系统。初始模型在分类任务中取得了 0.72 的理想 F1 分数。同时，系统生成的解释在语法和语义上与黄金标准解释进行了比较。研究建议使用语义相似度进行评估，得到的平均余弦相似度得分为 0.76。此外，我们探讨了改变片段数量对声明分类准确性的影响，揭示了一种潜在的相关性，其中使用前七个匹配项的模型表现优于其他模型，F1 得分为 0.77。
引用
@article{arxiv.2401.14067,
title = {Ta'keed: The First Generative Fact-Checking System for Arabic Claims},
author = {Saud Althabiti and Mohammad Ammar Alsalka and Eric Atwell},
journal= {arXiv preprint arXiv:2401.14067},
year = {2024}
}
备注
9 pages, conference paper