Evolver：通过链式演化提示提升大型多模态模型的仇恨表情检测
计算与语言
2025-01-22 v3 计算机视觉与模式识别
摘要
近期进展表明，双流方法在仇恨表情检测方面取得了卓越的性能。然而，仇恨表情不断演化，因为新的表情不断融合不断的文化思想，使得现有方法过时或无效。在本工作中，我们探索了大型多模态模型 (LMM) 进行仇恨表情检测的潜力。为此，我们提出了 Evolver，通过链式演化 (CoE) 提示集成 LMM，融合表情的演化属性和情境信息。具体而言，Evolver 模拟表情的演化和表达过程，并以分步骤方式通过 LMM 进行推理。首先，演化配对挖掘模块检索外部精选表情集合中与输入表情最相似的 top-k 个表情。其次，设计演化信息提取器来总结配对表情之间的语义规律以进行提示。最后，情境相关性放大器增强情境仇恨信息以提升演化过程的搜索。在公开的 FHM、MAMI 和 HarM 数据集上进行大量实验表明，CoE 提示可以被集成到现有的 LMM 中以提升其性能。更令人鼓舞的是，它可以作为解释工具来促进对社交表情演化的理解。[主页] (https://github.com/inFaaa/Evolver)
引用
@article{arxiv.2407.21004,
title = {Evolver: Chain-of-Evolution Prompting to Boost Large Multimodal Models for Hateful Meme Detection},
author = {Jinfa Huang and Jinsheng Pan and Zhongwei Wan and Hanjia Lyu and Jiebo Luo},
journal= {arXiv preprint arXiv:2407.21004},
year = {2025}
}
备注
accepted by COLING 2025