AFaCTA：利用可靠的 LLM 标注员辅助事实性声明检测的标注
计算与语言
2024-06-04 v3 人工智能
摘要
随着生成式 AI 的兴起，用于对抗错误信息的自动化事实核查方法变得越来越重要。然而，事实性声明检测作为事实核查流程的第一步，受到两个关键问题的限制，从而影响了其可扩展性与泛化能力：(1) 任务定义与声明定义的不一致性，以及 (2) 人工标注的高成本。针对问题 (1)，我们回顾了相关工作中的定义，并提出了一个以可验证性为核心的统一事实性声明定义。针对问题 (2)，我们引入了 AFaCTA（Automatic Factual Claim deTection Annotator），这是一个在大型语言模型（LLM）辅助下进行事实性声明标注的新颖框架。AFaCTA 通过沿三条预定义推理路径的一致性来校准其标注置信度。在政治演讲领域的广泛评估与实验表明，AFaCTA 能够高效辅助专家标注事实性声明并训练高质量分类器，且可在有或无专家监督的情况下工作。我们的分析还产出了 PoliClaim，一个涵盖多种政治话题的综合性声明检测数据集。
引用
@article{arxiv.2402.11073,
title = {AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators},
author = {Jingwei Ni and Minjing Shi and Dominik Stammbach and Mrinmaya Sachan and Elliott Ash and Markus Leippold},
journal= {arXiv preprint arXiv:2402.11073},
year = {2024}
}
备注
ACL2024 Main Conference