超越检索：提升基于大语言模型的多模态事实核查的证据质量
人工智能
2026-01-09 v2
摘要
日益增长的多模态虚假信息，即通过协调的文本和视觉内容来强化欺骗性声明，对自动化事实核查构成了重大挑战。近期的研究利用大语言模型 (LLM) 来执行此任务，充分利用其强大的推理和多模态理解能力。新兴的检索增强框架进一步为 LLM 提供了访问开放域外部信息的能力，从而能够进行超越其内部知识的基于证据的验证。尽管这些框架取得了可喜的进展，但我们的实证研究揭示了其在外部搜索覆盖范围和证据质量评估方面存在显著不足。为了缓解这些局限性，我们提出了 Aletheia，一个用于自动化多模态事实核查的端到端框架。它引入了一种新颖的证据检索策略，该策略能提高证据覆盖范围并过滤来自开放域来源的无用信息，从而提取高质量的证据进行验证。大量实验表明，Aletheia 在两个公开的多模态虚假信息数据集上达到了 88.3% 的准确率，在新出现的声明上达到了 90.2% 的准确率。与现有的证据检索策略相比，我们的方法将验证准确率提高了高达 30.8%，凸显了证据质量在基于 LLM 的虚假信息验证中的关键作用。
引用
@article{arxiv.2505.03135,
title = {Beyond Retrieval: Improving Evidence Quality for LLM-based Multimodal Fact-Checking},
author = {Haoran Ou and Gelei Deng and Xingshuo Han and Jie Zhang and Han Qiu and Shangwei Guo and Tianwei Zhang},
journal= {arXiv preprint arXiv:2505.03135},
year = {2026}
}