导航噪声众多的证据海洋：寻找说服性声明的关键信息
计算与语言
2024-07-18 v1
摘要
说服性声明验证是根据多篇证据材料评估声明真实性的任务。使用大型语言模型（LLM）进行说服性声明验证是一条有前景的道路。然而，仅将所有证据材料喂给LLM并询问声明是否事实，结果并不理想。挑战在于证据和声明本身都充满噪声：证据段落通常包含无关信息，关键事实隐藏在上下文中；而声明常常同时传递多个方面。为此，我们提出了EACon（Evidence Abstraction and Claim Deconstruction）框架，用于在证据中寻找关键信息并分别验证声明的每个方面。EACon首先从声明中提取关键词，并采用模糊匹配为每段原始证据选择相关关键词。这些关键词作为提取和概括关键信息以抽象化证据的指南。随后，EACon将原始声明解构为子声明，分别针对抽象化证据和原始证据进行验证。我们在两个具有挑战性的数据集上使用两个开源LLM对EACon进行评估。结果表明，EACon能显著且稳定地提升LLM在说服性声明验证中的性能。
引用
@article{arxiv.2407.12425,
title = {Navigating the Noisy Crowd: Finding Key Information for Claim Verification},
author = {Haisong Gong and Huanhuan Ma and Qiang Liu and Shu Wu and Liang Wang},
journal= {arXiv preprint arXiv:2407.12425},
year = {2024}
}