DEFAME：基于动态证据与多模态专家的事实验证
计算机视觉与模式识别
2025-07-25 v4 计算与语言
摘要
虚假信息的泛滥需要可靠且可扩展的事实验证解决方案。我们提出了基于动态证据与多模态专家的事实验证 (DEFAME)，这是一个用于开放域图文声明验证的模块化、零样本 MLLM 流水线。DEFAME 在一个六阶段流程中运行，动态选择工具和搜索深度以提取并评估文本与视觉证据。与以往纯文本、缺乏可解释性或仅依赖参数化知识的方法不同，DEFAME 执行端到端验证，在生成结构化多模态报告的同时将声明和证据中的图像纳入考量。在流行的基准测试 VERITE、AVerITeC 和 MOCHEG 上的评估表明，DEFAME 超越了所有先前的方法，确立了其作为单模态和多模态事实验证领域新 SOTA 事实验证系统的地位。此外，我们引入了一个新的多模态基准测试 ClaimReview2024+，其包含 GPT-4o 知识截止日期之后的声明，从而避免了数据泄露。在此基准上，DEFAME 大幅优于 GPT-4o 基线，展示了时间泛化能力以及实时事实验证的潜力。
引用
@article{arxiv.2412.10510,
title = {DEFAME: Dynamic Evidence-based FAct-checking with Multimodal Experts},
author = {Tobias Braun and Mark Rothermel and Marcus Rohrbach and Anna Rohrbach},
journal= {arXiv preprint arXiv:2412.10510},
year = {2025}
}
备注
ICML 2025 version. 9 pages main paper, 35 pages with appendix, 18 figures and 7 tables. Corrected two inconsistent numbers in Table 2