多模态假新闻检测的动态融合模型 MDF
多媒体
2024-07-02 v1 信息检索
摘要
假新闻检测近年来受到研究人员的广泛关注，尤其是包含文本和图像的多模态假新闻检测。然而，许多以往工作在简单拼接或注意力机制后将两种模态特征（文本和图像）输入二分类器，导致特征中包含大量数据内在噪声，从而引发类内和类间不确定性。此外，尽管许多基于简单拼接两种模态的方法取得了更显著的效果，但这些方法忽略了跨模态固定权重的缺点，导致某些具有更高影响因子的特征被忽略。为缓解上述问题，我们提出了一个新的动态融合框架，称为MDF，用于假新闻检测。据我们所知，这是动态融合框架在假新闻检测领域的第一次尝试。具体而言，我们的模型包含两个主要组件：(1) UEM作为不确定性建模模块，采用多头注意力机制来建模类内不确定性；(2) DFN是基于D-S证据理论的动态融合模块，用于动态融合两种模态（文本和图像）的权重。为了为动态融合框架提供更好的结果，我们在DFN之前使用GAT进行类间不确定性和权重建模。在两个基准数据集上的广泛实验表明了MDF框架的有效性和优越性能。我们还进行了系统性消融研究，以深入了解我们的动机和架构设计。我们将模型公开分享至：https://github.com/CoisiniStar/MDF
引用
@article{arxiv.2406.19776,
title = {MDF: A Dynamic Fusion Model for Multi-modal Fake News Detection},
author = {Hongzhen Lv and Wenzhong Yang and Fuyuan Wei and Jiaren Peng and Haokun Geng},
journal= {arXiv preprint arXiv:2406.19776},
year = {2024}
}