基于多模态自适应图的虚假新闻智能分类模型

已有大量研究聚焦于基于机器学习和/或深度学习的虚假新闻多模态检测。然而，利用几何深度学习研究图结构的工作仍较为匮乏。为应对这一挑战，我们提出了多模态自适应图智能分类模型（Multimodal Adaptive Graph-based Intelligent Classification，简称MAGIC）用于虚假新闻检测。具体而言，使用Transformer编码器表示进行文本向量化，使用ResNet50进行图像编码。在分类多模态输入之前，通过自适应图注意力网络构建全面的信息交互图。MAGIC在两个虚假新闻数据集上进行了训练和测试，即Fakeddit（英文）和多模态虚假新闻检测（中文），模型分别取得了98.8%和86.3%的准确率。消融实验也表明MAGIC在两个数据集上均展现出优越性能。研究结果表明，基于图的深度学习自适应模型在检测多模态虚假新闻方面是有效的，超越了现有最先进方法。