RAGAR：使用多模态大语言模型进行政治事实核查的RAG增强推理
计算与语言
2024-07-15 v2 人工智能
计算机与社会
新兴技术
多智能体系统
摘要
信息误传的挑战日益严峻，尤其是在政治话语中，这一点更为明显，尤其是在更复杂的多模态主张场景中。我们采用多模态大语言模型结合检索增强生成（RAG），并引入两种新颖的推理技术：链式RAG（CoRAG）和树状RAG（ToRAG）。它们通过提取文本和图像内容、检索外部信息，并基于先前证据推理后续问题来进行事实核查。我们实现的加权F1分数为0.85，显著超过基线推理技术的0.14分。人类评估确认，我们生成的绝大多数事实核查解释都包含来自黄金标准数据的全部信息。
引用
@article{arxiv.2404.12065,
title = {RAGAR, Your Falsehood Radar: RAG-Augmented Reasoning for Political Fact-Checking using Multimodal Large Language Models},
author = {M. Abdul Khaliq and P. Chang and M. Ma and B. Pflugfelder and F. Miletić},
journal= {arXiv preprint arXiv:2404.12065},
year = {2024}
}
备注
8 pages, submitted to ACL Rolling Review June 2024