多模态社交平台中的讽刺检测

讽刺是一种特殊的情感表达形式，其表面情感与隐含情感不同。社交媒体平台中的讽刺检测过去主要应用于文本话语，利用词汇指示符（如感叹词和强化词）、语言标记和上下文信息（如用户资料或历史对话）来检测讽刺语气。然而，现代社交媒体平台允许创建多模态消息，其中视听内容与文本相结合，使得孤立地分析单一模态变得片面。在我们的工作中，我们首先研究了来自三个主要社交媒体平台（即 Instagram、Tumblr 和 Twitter）的多模态帖子中文本和视觉方面之间的关系，并开展了一项众包任务，以量化人工标注者认为图像在多大程度上是必要的。此外，我们提出了两种不同的计算框架来整合文本和视觉模态以检测讽刺。第一种方法利用在外部数据集上训练的视觉语义，并将语义特征与最先进的文本特征进行拼接。第二种方法将使用 ImageNet 上训练的参数初始化的视觉神经网络适配到多模态讽刺帖子。结果表明，在不同平台和方法中，结合多种模态对讽刺检测具有积极效果。