中文

MemeIntel:可解释的制造主义和仇恨表情检测

计算与语言 2026-03-03 v2 人工智能 计算机视觉与模式识别

摘要

社交媒体上多模态内容的不断增长为理解和监管复杂、情境依赖性问题(如虚假信息、仇恨言论和制造主义)带来了重大挑战。虽然已致力于开发资源并提出新方法进行自动检测,但对联合建模标签检测和生成解释性理由的注意力有限,这常导致在同时训练时降低分类性能。为此,我们引入了 MemeXplain,这是一个用于阿拉伯语制造主义表情和英语仇恨表情的解释增强数据集,堪称此类任务的第一个大规模资源。为解决这些任务,我们提出了一种多阶段优化方法并训练了视觉语言模型(VLMs)。我们的结果表明,这一策略显著改善了标签检测和解释生成质量,相较于基线模型在 ArMeme 上实现约 1.4%(准确率)提升,在 Hateful Memes 上实现约 2.2%(准确率)提升。为可重复性和未来研究,计划公开 MemeXplain 数据集和脚本:https://github.com/MohamedBayan/MemeIntel。

关键词

引用

@article{arxiv.2502.16612,
  title  = {MemeIntel: Explainable Detection of Propagandistic and Hateful Memes},
  author = {Mohamed Bayan Kmainasi and Abul Hasnat and Md Arid Hasan and Ali Ezzat Shahroor and Firoj Alam},
  journal= {arXiv preprint arXiv:2502.16612},
  year   = {2026}
}

备注

disinformation, misinformation, factuality, harmfulness, fake news, propaganda, hateful meme, multimodality, text, images