通过事实检测实现稳健的主张验证
计算与语言
2024-07-29 v1 人工智能
摘要
主张验证是一个具有挑战性的任务。本文提出了一种方法，通过从证据中提取简短事实来增强自动化主张验证的鲁棒性和推理能力。我们 novel 方法FactDetect 利用大型语言模型(LLMs)从证据中生成简洁的事实陈述，并根据这些事实与主张及证据之间的语义相关性对事实进行标记。生成的事实随后与主张和证据组合在一起。为训练轻量级监督模型，我们将事实检测任务纳入主张验证过程作为一种多任务方法，以提高性能和可解释性。我们还展示了通过在主张验证提示中增强FactDetect，能够在零样本主张验证中提升LLM的性能。该方法在竞争性的监督主张验证模型中取得了在挑战性的科学主张验证数据集上以15%提升F1分数。我们还表明FactDetect 可以与主张和证据一起用于零样本提示(AugFactDetect)，用于LLM的裁决预测。我们表明AugFactDetect 在三个具有挑战性的科学主张验证数据集上显著优于基线，平均性能提升约17.3%。
引用
@article{arxiv.2407.18367,
title = {Robust Claim Verification Through Fact Detection},
author = {Nazanin Jafari and James Allan},
journal= {arXiv preprint arXiv:2407.18367},
year = {2024}
}