通过检索引导对比学习改进仇恨表情包检测
计算与语言
2024-10-31 v3 计算机视觉与模式识别
摘要
仇恨表情包已成为互联网上的一个重大隐患。检测仇恨表情包要求系统联合理解视觉与文本模态。我们的调研显示，现有基于 CLIP 的系统的嵌入空间对表情包中细微差异缺乏敏感性，而这些差异对于正确的仇恨性分类至关重要。我们提出通过检索引导的对比训练来构建具有仇恨性感知的嵌入空间。我们的方法在 HatefulMemes 数据集上取得了最先进的性能，AUROC 达到 87.0，优于规模大得多的微调大型多模态模型。我们展示了一种基于检索的仇恨表情包检测系统，该系统能够基于训练时未见过的数据识别仇恨性。这使得开发者无需重新训练，仅通过添加新样本即可更新仇恨表情包检测系统，这是互联网上仇恨表情包不断演化背景下实际服务所期望的特性。
引用
@article{arxiv.2311.08110,
title = {Improving Hateful Meme Detection through Retrieval-Guided Contrastive Learning},
author = {Jingbiao Mei and Jinghong Chen and Weizhe Lin and Bill Byrne and Marcus Tomalin},
journal= {arXiv preprint arXiv:2311.08110},
year = {2024}
}
备注
ACL 2024 Main. The code is available from: https://github.com/JingbiaoMei/RGCL