Just KIDDIN：用于检测不良模因的知识注入与蒸馏
机器学习
2026-02-18 v3 人工智能
计算与语言
计算机视觉与模式识别
摘要
由于跨模态（如文本和视觉）上下文关联的复杂性，在线多模态环境中的毒性识别仍然是一项具有挑战性的任务。在本文中，我们提出了一个新框架，该框架集成了来自大型视觉语言模型（LVLMs）的知识蒸馏（KD）和知识注入，以增强仇恨模因中毒性检测的性能。我们的方法从大规模常识知识图谱（KG）ConceptNet 中提取子知识图谱，以注入到紧凑的 VLM 框架中。标题和模因中有毒短语之间的关系上下文以及模因中的视觉概念增强了模型的推理能力。我们在两个仇恨言论基准数据集上的实验结果表明，在 AU-ROC、F1 和 Recall 上分别取得了 1.1%、7% 和 35% 的提升，优于最先进的基线方法。鉴于毒性检测任务的上下文复杂性，我们的方法展示了从显式（即 KG）和隐式（即 LVLMs）上下文线索中学习的重要性，这些线索通过混合神经符号方法整合。这对于需要准确且可扩展地识别有毒内容以创造更安全在线环境的实际应用至关重要。
引用
@article{arxiv.2411.12174,
title = {Just KIDDIN: Knowledge Infusion and Distillation for Detection of INdecent Memes},
author = {Rahul Garg and Trilok Padhi and Hemang Jain and Ugur Kursuncu and Ponnurangam Kumaraguru},
journal= {arXiv preprint arXiv:2411.12174},
year = {2026}
}