基于细粒度融合网络的跨模态一致性学习用于多模态假新闻检测
社会与信息网络
2023-11-06 v1
摘要
先前关于多模态假新闻检测的研究观察到假新闻中文本与图像的不匹配，并尝试基于不同模态的全局特征探索多模态新闻的一致性。然而，它们未能考察多模态内容中细粒度片段之间的这种关系。为获取公众信任，假新闻常在文本与图像中包含相关部分，使此类多模态内容显得一致。使用全局特征可能抑制无关部分中潜在的不一致。因此，在本文中，我们提出一种新颖的一致性学习细粒度融合网络（CFFN），分别从高相关和低相关的词-区域对中探索一致性与不一致性。具体而言，对于一条多模态帖子，我们根据相关性分数将词-区域对划分为高相关和低相关部分。对于高相关部分，我们遵循跨模态注意力机制探索一致性。对于低相关部分，我们计算不一致性分数以捕捉不一致点。最后，使用选择模块选取主要线索（一致性或不一致性）以识别多模态新闻的可信度。在两个公开数据集上的大量实验表明，我们的CFFN大幅优于所有基线方法。
引用
@article{arxiv.2311.01807,
title = {Cross-modal Consistency Learning with Fine-grained Fusion Network for Multimodal Fake News Detection},
author = {Jun Li and Yi Bin and Jie Zou and Jie Zou and Guoqing Wang and Yang Yang},
journal= {arXiv preprint arXiv:2311.01807},
year = {2023}
}