好香的香水。你泡了多久？多模态讽刺解释

讽刺是一种普遍存在的语言现象，由于其主观性、缺乏上下文和深刻感受的观点而极难解释。在多模态设置中，讽刺通过文本与视觉实体之间的不一致来传达。尽管近期方法将讽刺视为分类问题，但为何一条在线帖子被识别为讽刺仍不清楚。若无恰当解释，终端用户可能无法感知潜在的讽刺意味。在本文中，我们提出了一个新问题——多模态讽刺解释（MuSE）——给定一条包含图像和标题的多模态讽刺帖子，我们旨在生成自然语言解释以揭示其意图中的讽刺。为此，我们构建了MORE，一个包含3510条讽刺多模态帖子解释的新数据集。每条解释均为描述隐藏讽刺的自然语言（英语）句子。我们采用基于多模态Transformer的架构对MORE进行基准测试。该架构在Transformer编码器中融入跨模态注意力，以关注两种模态间的区分性特征。随后，使用基于BART的自回归解码器作为生成器。实证结果显示在五项评估指标上相较各类基线（为MuSE采用）均取得令人信服的结果。我们还对预测进行了人工评估，并获得Fleiss' Kappa分数0.4，表明25名评估者间具有一般一致性。