大型多模态模型在虚假信息检测中的有效性：实验结果
计算机视觉与模式识别
2025-09-29 v1
摘要
虚假信息的泛滥，特别是在结合文本与图像的多模态语境中，给各个数字平台带来了重大挑战。本研究探讨了大型多模态模型在检测和缓解虚假信息方面的潜力。我们提出利用 GPT-4o 模型的先进能力来进行多模态虚假信息检测。我们的贡献包括：(1) 开发了一个结合先进提示工程技术的优化提示，以确保精确且一致的评估；(2) 实现了一个用于多模态分析的结构化框架，包括符合模型 token 限制的图像与文本预处理方法；(3) 定义了六个具体的评估标准，以实现对内容的细粒度分类，并辅以基于置信度的自我评估机制；(4) 在 Gossipcop、Politifact、Fakeddit、MMFakeBench 和 AMMEBA 等多个异构数据集上对模型进行了全面的性能分析，突出了 GPT-4o 在虚假信息检测中的优势与局限；(5) 通过重复测试研究了预测的变异性，评估了模型分类的稳定性和可靠性；(6) 引入了基于置信度和变异性的评估方法。这些贡献为自动化多模态虚假信息分析提供了一个稳健且可复现的方法论框架。
引用
@article{arxiv.2509.22377,
title = {Effectiveness of Large Multimodal Models in Detecting Disinformation: Experimental Results},
author = {Yasmina Kheddache and Marc Lalonde},
journal= {arXiv preprint arXiv:2509.22377},
year = {2025}
}
备注
9 pages