MemeBLIP2：一种检测有害表情包的轻量级多模态系统
计算机视觉与模式识别
2025-07-29 v3 人工智能
摘要
表情包通常将视觉元素与简短文本合并，以分享幽默或意见，但某些表情包包含有害信息如仇恨言论。本文介绍了 MemeBLIP2，一种轻量级多模态系统，通过有效结合图像和文本特征来检测有害表情包。我们在先前研究基础上添加了模块，将图像和文本表示对齐到共享空间，并进行融合以实现更好的分类。使用 BLIP-2 作为核心视觉-语言模型，对该系统在 PrideMM 数据集上的评估表明，MemeBLIP2 能够捕捉到两种模态中的细微线索，即使在讽刺或文化特定内容的情况下，也能显著提高对有害材料的检测能力。
关键词
引用
@article{arxiv.2504.21226,
title = {MemeBLIP2: A novel lightweight multimodal system to detect harmful memes},
author = {Jiaqi Liu and Ran Tong and Aowei Shen and Shuzheng Li and Changlin Yang and Lisha Xu},
journal= {arXiv preprint arXiv:2504.21226},
year = {2025}
}
备注
11 pages, 3 figures. Accepted at the First Workshop on Multimodal Knowledge and Language Modeling (MKLM), IJCAI-25