多模态主张提取用于事实核查
计算与语言
2026-04-21 v1 人工智能
社会与信息网络
摘要
自动事实核查（AFC）依赖主张提取作为第一步，但现有方法大多忽视了今天误information 的多模态本质。社交媒体帖子常常将简短、非正式的文本与图像（如表情包、屏幕截图和照片）组合，创造与文本-唯一主张提取和已研究的多模态任务（如图像字幕或视觉问答）不同的挑战。本 work 提出了首个针对社交媒体中包含文本和一或多个图像的主张提取基准数据集，包含由真实世界事实核查员派生的金标准主张。我们在三个方面评估了最先进的多模态 LLM（MLLMs）：语义对齐、忠实性和去语境化。我们发现基准 MLLMs 在建模修辞意图和情境线索方面困难。为此，我们引入 MICE，一个意图感知框架，展示了在意图关键案例中取得改进。
引用
@article{arxiv.2604.16311,
title = {Multimodal Claim Extraction for Fact-Checking},
author = {Joycelyn Teo and Rui Cao and Zhenyun Deng and Zifeng Ding and Michael Sejr Schlichtkrull and Andreas Vlachos},
journal= {arXiv preprint arXiv:2604.16311},
year = {2026}
}