解码多模态仇恨表情包背后的含义
计算与语言
2023-06-21 v2 人工智能
计算机视觉与模式识别
摘要
近期研究提出的模型在仇恨表情包分类任务上取得了可观性能。然而，这些模型并未生成可解释的说明来揭示其背后含义并支撑分类输出。缺乏可解释的仇恨表情包方法的一个主要原因是缺少包含真实解释以供基准测试或训练的仇恨表情包数据集。直观而言，拥有此类解释能够教育并协助内容审核员理解并移除被标记的仇恨表情包。本文通过引入 HatReD（带理由的仇恨表情包数据集）来填补这一研究空白，该数据集是一个新的多模态仇恨表情包数据集，标注了背后的仇恨语境理由。我们还定义了一项新的条件生成任务，旨在自动生成解释仇恨表情包的潜在理由，并确立了最先进预训练语言模型在该任务上的基线性能。我们进一步通过分析新条件生成任务在已见与未见领域解释表情包时所面临的挑战，展示了 HatReD 的效用。数据集与基准模型已发布于：https://github.com/Social-AI-Studio/HatRed
引用
@article{arxiv.2305.17678,
title = {Decoding the Underlying Meaning of Multimodal Hateful Memes},
author = {Ming Shan Hee and Wen-Haw Chong and Roy Ka-Wei Lee},
journal= {arXiv preprint arXiv:2305.17678},
year = {2023}
}
备注
9 pages. Accepted by IJCAI 2023