基于大型视觉语言模型的假新闻检测与操纵推理
计算与语言
2024-07-03 v1 人工智能
摘要
随着媒体操纵的迅速蔓延，假新闻对信息安全和公众舆论构成了日益严重的威胁。因此，假新闻检测引起了学术界的广泛关注。传统的假新闻检测模型在真实性二分类上表现出色，但它们基于新闻内容推理详细伪造痕迹的能力仍未得到充分探索。此外，由于缺乏外部知识，现有方法在与事实相关的新闻上的性能存疑，使其实际应用不明确。在本文中，我们提出了一个新的多媒体研究主题，即操纵推理。操纵推理旨在基于新闻内容推理操纵行为。为支持该研究，我们引入了一个用于假新闻检测和操纵推理的基准，称为以人为中心和与事实相关的假新闻（HFFN）。该基准强调了人的中心性和高事实相关性，并带有详细的人工标注。HFFN涵盖了四个现实领域，其中包含通过三种操纵方法生成的假新闻样本。此外，我们提出了一种多模态新闻检测与推理语言模型（M-DRUM），它不仅能够判断多模态新闻的真实性，还能对潜在的操纵行为进行分析性推理。在特征提取层面，采用交叉注意力机制从多模态输入中提取细粒度融合特征。在推理层面，一个大型视觉语言模型（LVLM）作为骨干网络，以促进与事实相关的推理。部署了一个两阶段训练框架以更好地激活识别和推理能力。综合实验表明，我们的模型优于最先进的（SOTA）假新闻检测模型和强大的LVLM，如GPT-4和LLaVA。
引用
@article{arxiv.2407.02042,
title = {Fake News Detection and Manipulation Reasoning via Large Vision-Language Models},
author = {Ruihan Jin and Ruibo Fu and Zhengqi Wen and Shuai Zhang and Yukun Liu and Jianhua Tao},
journal= {arXiv preprint arXiv:2407.02042},
year = {2024}
}