通过多模态大语言模型从合成数据学习进行多模态虚假信息检测
计算与语言
2024-10-01 v1
摘要
检测多模态虚假信息，特别是以图像-文本对形式出现，具有重要重要性。获取用于训练检测器的大规模高质量真实世界 fact-checking 数据集成本高昂，导致研究者倾向于使用由人工智能技术生成的合成数据集。然而，针对真实世界情景下检测器在合成数据上训练后的泛化能力仍不明确。为此，我们提出了通过两种模型无关的数据选择方法，从合成数据中学习以检测真实世界的多模态虚假信息，这两种方法通过匹配合成数据和真实世界数据分布来实现。实验表明，我们的方法提高了小型 MLLM (13B) 在真实世界 fact-checking 数据集上的性能，使其甚至能够超越 GPT-4V~\cite{GPT-4V}。
引用
@article{arxiv.2409.19656,
title = {Multimodal Misinformation Detection by Learning from Synthetic Data with Multimodal LLMs},
author = {Fengzhu Zeng and Wenqian Li and Wei Gao and Yan Pang},
journal= {arXiv preprint arXiv:2409.19656},
year = {2024}
}
备注
EMNLP 2024 Findings