面向低资源有害表情包检测的 LMM 智能体方法

社交媒体时代表情包的泛滥要求有效识别有害表情包。由于表情包具有动态特性，现有数据驱动模型在仅有少量标注样本的低资源场景中可能难以应对。本文提出一种面向低资源有害表情包检测的智能体驱动框架，结合外部分析与内部分析，利用少样本标注样本。受到大型多模态模型（LMM）在多模态推理方面强大能力的启发，我们首先检索带有标注的相关表情包，以利用标注信息作为 LMM 智能体的辅助信号。随后，我们在 LMM 智能体中激发知识修正行为，以推导出关于表情包有害性的良好泛化洞察。通过结合这些策略，我们的方法能够对复杂且隐含的有害指示模式进行辩证推理。在三个表情包数据集上进行的广泛实验表明，我们提出的方法在低资源有害表情包检测任务上优于现有最先进方法。