基于上下文敏感提示与细粒度标注的仇恨梗图检测

Rongxin Ouyang; Kokil Jaidka; Subhayan Mukerjee; Guangyu Cui

基于上下文敏感提示与细粒度标注的仇恨梗图检测

计算机视觉与模式识别 2024-11-19 v1 人工智能计算与语言机器学习多媒体

作者: Rongxin Ouyang , Kokil Jaidka , Subhayan Mukerjee , Guangyu Cui

摘要

社交媒体上多模态内容的普及使自动化审核策略变得复杂。这要求增强多模态分类能力，并更深入地理解图像和梗图中的隐含意义。尽管以往的工作旨在通过微调提升模型性能，但鲜有研究探索一个考虑模态、提示、标注和微调的端到端优化流水线。本研究提出了一个用于复杂任务模型优化的端到端概念框架。实验支持该传统而新颖框架的有效性，实现了最高准确率和AUROC。消融实验表明，孤立的优化单独使用并非无效。

关键词

仇恨梗图检测多模态分类上下文敏感提示细粒度标注端到端优化消融实验

引用

@article{arxiv.2411.10480,
  title  = {Hateful Meme Detection through Context-Sensitive Prompting and Fine-Grained Labeling},
  author = {Rongxin Ouyang and Kokil Jaidka and Subhayan Mukerjee and Guangyu Cui},
  journal= {arXiv preprint arXiv:2411.10480},
  year   = {2024}
}

备注

AAAI-25 Student Abstract, Oral Presentation

基于上下文敏感提示与细粒度标注的仇恨梗图检测

摘要

关键词

引用

备注

相关论文