FactLLaMA：利用外部知识优化指令遵循语言模型以实现自动化事实核查
计算与语言
2023-09-04 v1 人工智能
摘要
自动化事实核查在遏制错误信息传播方面发挥着关键作用。大语言模型（LLM）及其指令遵循变体（如 InstructGPT 和 Alpaca）已在多种自然语言处理任务中展现出卓越性能。然而，它们的知识可能并非总是最新或充分，可能导致事实核查中的不准确。为解决此局限，我们提出将指令遵循语言模型与外部证据检索相结合，以提升事实核查性能。我们的方法包括利用搜索引擎为给定输入声明检索相关证据。该外部证据作为补充信息，用以增强预训练语言模型的知识。随后，我们使用这些证据对名为 LLaMA 的开源语言模型进行指令微调，使其能更准确地预测输入声明的真实性。为评估我们的方法，我们在两个广泛使用的事实核查数据集 RAWFC 和 LIAR 上进行了实验。结果表明，我们的方法在事实核查任务中取得了最先进的性能。通过整合外部证据，我们弥合了模型知识与现有最新且充分上下文之间的差距，从而改善了事实核查结果。我们的发现对于打击错误信息和促进在线平台上准确信息的传播具有启示意义。我们发布的材料可在以下网址获取：https://thcheung.github.io/factllama。
引用
@article{arxiv.2309.00240,
title = {FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking},
author = {Tsun-Hin Cheung and Kin-Man Lam},
journal= {arXiv preprint arXiv:2309.00240},
year = {2023}
}
备注
Accepted in APSIPA ASC 2023