利用实体增强框架融合多模态线索提升虚假新闻检测
多媒体
2021-08-25 v1
摘要
近年来，包含文本和图像的虚假新闻比纯文本虚假新闻传播更有效，引发了多模态虚假新闻检测这一严峻问题。当前针对该问题的研究在开发多模态模型方面做出了重要贡献，但在充分建模多模态内容方面存在缺陷。大多数方法仅初步建模图像的基本语义作为文本的补充，这限制了其检测性能。本文发现多模态虚假新闻中存在三种有价值的图文关联：实体不一致、相互增强和文本补充。为有效捕捉这些多模态线索，我们创新性地提取视觉实体（如名人、地标）以理解图像中与新闻相关的高层语义，并借助视觉实体建模多模态实体不一致与相互增强。此外，我们提取图像中的嵌入文本作为原始文本的补充。综合考虑，我们提出一种新颖的实体增强多模态融合框架，同时建模三种跨模态关联以检测多样化的多模态虚假新闻。大量实验证明了我们的模型相较于当前最优方法的优越性。
引用
@article{arxiv.2108.10509,
title = {Improving Fake News Detection by Using an Entity-enhanced Framework to Fuse Diverse Multimodal Clues},
author = {Peng Qi and Juan Cao and Xirong Li and Huan Liu and Qiang Sheng and Xiaoyue Mi and Qin He and Yongbiao Lv and Chenyang Guo and Yingchao Yu},
journal= {arXiv preprint arXiv:2108.10509},
year = {2021}
}
备注
To appear in MM 2021 industrial track (long paper)