面向越界误information检测的分层证据增强生成框架 HiEAG
计算与语言
2025-11-19 v1
摘要
多模态越界(Out-of-Context, OOC)误information检测的最新进展在对不同模态之间一致性进行核查方面取得了显著进展。然而，现有 OOC 误information检测方法倾向于强调内部一致性的作用，忽视了图像-文本对与外部证据之间的外部一致性的重要性。本文提出了 HiEAG（Hierarchical Evidence-Augmented Generation），一种 novel 分层证据增强生成框架，通过利用大规模多模态语言模型 (MLLM) 的广泛知识来细化外部一致性检查。我们的框架将外部一致性检查分解为一个综合性引擎管道，集成了重排序和重写，除检索之外。证据重排序模块利用自动证据选择提示 (Automatic Evidence Selection Prompting, AESP) 从证据检索结果中获取相关证据项。随后，证据重写模块利用自动证据生成提示 (Automatic Evidence Generation Prompting, AEGP) 来提高 MLLM-based OOC 误information检测器的任务适应性。此外，我们的框架为判断提供解释，并通过指令调谐实现了显著性能。实验结果表明，我们的 HiEAG 在所有样本上的准确率均超过以往最先进 (SOTA) 方法。
引用
@article{arxiv.2511.14027,
title = {HiEAG: Evidence-Augmented Generation for Out-of-Context Misinformation Detection},
author = {Junjie Wu and Yumeng Fu and Nan Yu and Guohong Fu},
journal= {arXiv preprint arXiv:2511.14027},
year = {2025}
}