GAME-ON：基于图注意力网络的多模态融合假新闻检测
多媒体
2024-06-13 v3 机器学习
摘要
当今社交媒体具有显著且日益增长的影响力。在这些平台上传播的假新闻对我们生活具有破坏性与损害性影响。此外，由于多媒体内容比文本数据更能提升帖子可见度，已观察到常利用多媒体制造虚假内容。大量先前基于多模态的工作试图解决在识别虚假内容中建模异构模态的问题。然而，这些工作存在如下局限：（1）通过在模型后期对模态使用简单拼接算子，低效编码模态间关系，可能导致信息丢失；（2）在小型但复杂的真实多模态数据集上训练参数数量失衡的极深神经网络，导致过拟合几率更高。为应对这些局限，我们提出 GAME-ON，一种基于图神经网络、端到端可训练的框架，允许不同模态内部及跨模态的细粒度交互，以学习更鲁棒的数据表示用于多模态假新闻检测。我们使用两个公开假新闻数据集 Twitter 与 Weibo 进行评估。我们的模型在 Twitter 上平均超出 11%，在 Weibo 上保持竞争力（差距在 2.6% 内），同时比最佳可比 SOTA 基线少用了 65% 的参数。
引用
@article{arxiv.2202.12478,
title = {GAME-ON: Graph Attention Network based Multimodal Fusion for Fake News Detection},
author = {Mudit Dhawan and Shakshi Sharma and Aditya Kadam and Rajesh Sharma and Ponnurangam Kumaraguru},
journal= {arXiv preprint arXiv:2202.12478},
year = {2024}
}
备注
Accepted at SNAM 2024