EXCLAIM：一种基于层次检索的可解释跨模态代理系统用于误信息检测
信息检索
2025-04-10 v1 人工智能
计算与语言
摘要
误信息持续在当今信息生态系统中构成重大挑战，对公众认知和行为产生深远影响。在各种表现形式中，超出语境（OOC）误信息尤为隐蔽，因为它通过将真实图像与误导性文本叙事相结合来扭曲意义。现有检测OOC误信息的方法主要依赖于图像-文本对之间的粗粒度相似性度量，往往无法捕捉细微不一致或提供有意义的可解释性。虽然多模态大语言模型（MLLM）在视觉推理和解释生成方面显示出惊人的能力，但尚未证明其具有针对复杂、细粒度和跨模态区别的鲁健OOC检测能力。为克服这些限制，我们引入EXCLAIM，一个基于检索的框架，旨在通过多模态事件和实体的多层次索引来利用外部知识。我们的 метод 将多层次情境分析与多代理推理架构相结合，以系统性地评估多模态新闻内容的一致性和完整性。综合实验验证了EXCLAIM的有效性和鲁健性，证明其能够比当前最先进方法提高4.3%的检测准确率，同时提供可解释且可操作的见解。
引用
@article{arxiv.2504.06269,
title = {EXCLAIM: An Explainable Cross-Modal Agentic System for Misinformation Detection with Hierarchical Retrieval},
author = {Yin Wu and Zhengxuan Zhang and Fuling Wang and Yuyu Luo and Hui Xiong and Nan Tang},
journal= {arXiv preprint arXiv:2504.06269},
year = {2025}
}
备注
15 pages, 2 figures