南非社交媒体环境中的多模态虚假信息检测
计算与语言
2023-12-08 v1
摘要
随着社交媒体网络上虚假信息的不断传播，持续评估数字内容真实性的需求日益凸显。这一需求激发了大量关于开发虚假信息检测模型的研究工作。然而，许多模型并未利用所有可用信息，且现有研究缺乏相关数据集来训练模型，尤其是在南非社交媒体环境中。本文旨在研究虚假信息检测模型在不同语境环境之间的知识迁移能力。本研究贡献了一个能够在南非社交媒体环境中运行的多模态虚假信息检测模型，并引入了一个南非虚假信息数据集。该模型利用多种信息源进行虚假信息检测，即文本和视觉元素。它使用双向编码器表示来自变换器（BERT）作为文本编码器，残差网络（ResNet）作为视觉编码器。该模型在Fakeddit数据集和南非虚假信息数据集上进行训练和评估。结果表明，在模型训练中使用南非样本可提高模型在南非语境环境中的性能，并且多模态模型比纯文本和纯视觉单模态模型保留显著更多的知识。我们的研究表明，虚假信息检测模型的性能受其运行环境的文化细微差别影响，多模态模型有助于不同语境环境之间的知识迁移。因此，应将本地数据纳入虚假信息检测模型的训练过程，以优化模型性能。
引用
@article{arxiv.2312.04052,
title = {Multimodal Misinformation Detection in a South African Social Media Environment},
author = {Amica De Jager and Vukosi Marivate and Abioudun Modupe},
journal= {arXiv preprint arXiv:2312.04052},
year = {2023}
}
备注
Artificial Intelligence Research. SACAIR 2023