一种利用文本与视觉线索的讽刺检测多模态方法
计算与语言
2020-10-15 v1 人工智能
计算机视觉与模式识别
摘要
讽刺是一种幽默的批评形式，但有时会被读者误解为真实新闻，从而可能导致有害后果。我们观察到，讽刺新闻文章中使用的图像常包含荒诞或荒谬内容，并且利用图像篡改来虚构场景。尽管已有研究考察了基于文本的方法，本文中我们提出一种基于最先进的视觉语言模型 ViLBERT 的多模态方法。为此，我们创建了一个由真实与讽刺新闻的图像和标题组成的新数据集，用于讽刺检测任务。我们在该数据集上微调 ViLBERT，并训练了一个采用图像取证技术的卷积神经网络。在该数据集上的评估表明，我们提出的多模态方法优于仅图像、仅文本以及简单融合基线。
引用
@article{arxiv.2010.06671,
title = {A Multi-Modal Method for Satire Detection using Textual and Visual Cues},
author = {Lily Li and Or Levi and Pedram Hosseini and David A. Broniatowski},
journal= {arXiv preprint arXiv:2010.06671},
year = {2020}
}
备注
Accepted to the Third Workshop on NLP for Internet Freedom (NLP4IF): Censorship, Disinformation, and Propaganda. Co-located with COLING 2020