XFacta：面向多模态误导信息检测的当代真实数据集与评估框架
计算与语言
2025-08-15 v1 机器学习
摘要
社交媒体上多模态误导信息的快速传播迫切需要更有效且稳健的检测方法。最近利用多模态大语言模型（MLLM）取得的进展在解决这一挑战方面显示出潜力。然而，现有方法的瓶颈究竟在于证据检索还是推理，尚不明朗，阻碍了该领域的进一步发展。在数据集方面，现有基准要么包含过时的事件，导致评估偏差，因为 MLLM 可以仅凭记忆这些事件来进行评估；要么是人工合成的，未能反映真实世界的误导信息模式。此外，缺乏对 MLLM-based 方法设计策略的全面分析。为此，我们引入 XFacta，一个更适合评估 MLLM-based 检测器的当代真实数据集。我们系统性地评估了各种 MLLM-based 误导信息检测策略，跨不同架构和规模进行评估，并与现有检测方法进行基准测试。基于这些分析，我们进一步实现了一个半自动的检测-在-回路框架，该框架可持续更新 XFacta 以保持其时效性。我们的分析为推动多模态误导信息检测领域的发展提供了宝贵的见解和实践经验。代码和数据已公开。
引用
@article{arxiv.2508.09999,
title = {XFacta: Contemporary, Real-World Dataset and Evaluation for Multimodal Misinformation Detection with Multimodal LLMs},
author = {Yuzhuo Xiao and Zeyu Han and Yuhan Wang and Huaizu Jiang},
journal= {arXiv preprint arXiv:2508.09999},
year = {2025}
}
备注
For associated code and dataset, see https://github.com/neu-vi/XFacta