基于 RAG 和少样本情境学习的证据驱动事实核查
计算与语言
2024-10-08 v2 人工智能
摘要
鉴于虚假信息在社交媒体上的广泛传播，实施针对在线主张的事实核查机制至关重要。手动验证每个主张非常具有挑战性，这凸显了自动化事实核查系统的需求。这篇论文提出了我们的系统以解决此问题。我们利用 Averitec 数据集 (Schlichtkrull 等，2023) 来评估我们的事实核查系统的性能。除了可靠性预测之外，我们的系统还提供来自数据集提取的支持证据。我们开发了一个检索和生成 (RAG) 管道，从知识库中提取相关证据句子，然后输入大型语言模型 (LLM) 进行分类。我们还评估了多个 LLM 的少样本情境学习 (ICL) 能力。我们的系统在 Averitec 数据集上的得分为 0.33，这是对基线的 22% 绝对提升。我们的代码已公开于 https://github.com/ronit-singhal/evidence-backed-fact-checking-using-rag-and-few-shot-in-context-learning-with-llms。
关键词
引用
@article{arxiv.2408.12060,
title = {Evidence-backed Fact Checking using RAG and Few-Shot In-Context Learning with LLMs},
author = {Ronit Singhal and Pransh Patwa and Parth Patwa and Aman Chadha and Amitava Das},
journal= {arXiv preprint arXiv:2408.12060},
year = {2024}
}
备注
Accepted in The Seventh FEVER Workshop at EMNLP 2024