你懂什么梗？为迷因中视觉语义角色标注生成解释
计算机与社会
2022-12-21 v2 计算与语言
摘要
迷因是社交媒体上有效沟通的有力手段。其将病毒式视觉素材与引人注目的信息轻松融合，在恰当营销下可产生深远影响。以往关于迷因的研究主要集中于刻画其情感谱系，以及检测迷因信息是否暗示任何有意伤害，如仇恨、冒犯、种族主义等。然而，迷因常使用抽象手法，可能令人难以捉摸。在此，我们引入一项新任务——EXCLAIM，即为迷因中的视觉语义角色标注生成解释。为此，我们整理了ExHVV这一新颖数据集，针对英雄、反派和受害者三类实体提供内涵角色的自然语言解释，涵盖3K个迷因中出现的4,680个实体。我们还使用若干强单模态与多模态基线对ExHVV进行基准测试。此外，我们提出LUMEN，一种新颖的多模态多任务学习框架，通过联合学习预测正确语义角色并相应生成恰当的自然语言解释，力求最优地解决EXCLAIM。LUMEN在18项标准自然语言生成评估指标上明显优于最佳基线。我们的系统性评估与分析表明，判定语义角色所需的特征性多模态线索亦有助于生成恰当解释。
引用
@article{arxiv.2212.00715,
title = {What do you MEME? Generating Explanations for Visual Semantic Role Labelling in Memes},
author = {Shivam Sharma and Siddhant Agarwal and Tharun Suresh and Preslav Nakov and Md. Shad Akhtar and Tanmoy Chakraborty},
journal= {arXiv preprint arXiv:2212.00715},
year = {2022}
}
备注
Accepted at AAAI 2023 (Main Track). 7 Pages (main content) + 2 Pages (Refs.); 3 Figures; 6 Tables; Paper ID: 10326 (AAAI'23)