用于仇恨梗图检测的多模态框架
计算与语言
2021-08-18 v2 人工智能
摘要
一种日益常见的网络仇恨言论表达具有多模态性质，并以梗图形式出现。若我们要减轻其对整个社会的不良影响，设计自动检测仇恨内容的系统便至关重要。多模态仇恨言论的检测本质上困难且开放：梗图利用图像与文本共同传达信息，因此需要多模态推理及视觉与语言的联合理解。本工作中，我们致力于推进这一研究方向，并开发了用于仇恨梗图检测的多模态框架。我们将现有多模态方法的性能提升至简单微调之上，其中尤其展示了对比样本上采样以促进多模态性，以及基于交叉验证的集成学习以提升鲁棒性的有效性。我们进一步分析模型误分类，讨论若干假设驱动的增广及其对性能的影响，提出对该领域未来研究的重要启示。我们的最佳方法由基于UNITER的模型集成组成，取得了80.53的AUROC分数，在Facebook组织的2020年仇恨梗图挑战赛第二阶段中排名第4。
引用
@article{arxiv.2012.12871,
title = {A Multimodal Framework for the Detection of Hateful Memes},
author = {Phillip Lippe and Nithin Holla and Shantanu Chandra and Santhosh Rajamanickam and Georgios Antoniou and Ekaterina Shutova and Helen Yannakoudakis},
journal= {arXiv preprint arXiv:2012.12871},
year = {2021}
}