Hateful Memes 挑战：在多模态表情包中检测仇恨言论
人工智能
2021-04-09 v3 计算与语言
计算机视觉与模式识别
摘要
本工作提出了一个面向多模态分类的新挑战数据集，聚焦于检测多模态表情包中的仇恨言论。其构建使得单模态模型难以应对、仅多模态模型能够成功：数据集中加入了困难样本（“良性混淆项”）以使依赖单模态信号变得困难。该任务需要细致推理，但作为二分类问题易于评估。我们给出了单模态模型以及具有不同复杂度的多模态模型的基线性能数据。我们发现，最先进的方法相比人类表现很差（准确率 64.73% 对 84.7%），说明了该任务的难度，并凸显了这一重要问题对学界构成的挑战。
引用
@article{arxiv.2005.04790,
title = {The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes},
author = {Douwe Kiela and Hamed Firooz and Aravind Mohan and Vedanuj Goswami and Amanpreet Singh and Pratik Ringshia and Davide Testuggine},
journal= {arXiv preprint arXiv:2005.04790},
year = {2021}
}
备注
NeurIPS 2020