使用多模态深度学习方法检测表情包中的仇恨言论：Hateful Memes Challenge 获奖方案
人工智能
2020-12-25 v1 计算与语言
计算机视觉与模式识别
摘要
互联网上的表情包通常无害且有时有趣。然而，通过使用某些类型的图像、文本或两者的组合，看似无害的表情包变成了一种多模态的仇恨言论——仇恨表情包。Hateful Memes Challenge 是一个首创的竞赛，专注于检测多模态表情包中的仇恨言论，并提出了包含 10,000 多个多模态内容新示例的数据集。我们利用 VisualBERT——旨在成为视觉与语言的 BERT——其在图像和字幕上进行了多模态训练，并应用集成学习。我们的方法在竞赛测试集上取得了 0.811 的 AUROC 和 0.765 的准确率，并在 Hateful Memes Challenge 的 3,173 名参与者中排名第三。
引用
@article{arxiv.2012.12975,
title = {Detecting Hate Speech in Memes Using Multimodal Deep Learning Approaches: Prize-winning solution to Hateful Memes Challenge},
author = {Riza Velioglu and Jewgeni Rose},
journal= {arXiv preprint arXiv:2012.12975},
year = {2020}
}
备注
Presented at NeurIPS (2020)