面向多模态仇恨检测的鲁棒框架研究：视频与图像内容的比较
计算机视觉与模式识别
2025-03-03 v1 计算与语言
机器学习
摘要
社交媒体平台促进了包含文本、听觉和视觉等不同模态内容的仇恨内容传播， necessitating 有效的检测方法。虽然近期方法在处理单一模态时表现不错，但跨模态组合的效果仍未得到探索。本文系统性地分析了基于融合的多模态仇恨检测方法，重点考察其在视频和图像内容上的表现。我们的全面评估揭示了显著的模态特定局限性：尽管简单嵌入融合在视频内容（HateMM 数据集）上实现了显著的9.9个F1分数提升，但在 meme 中的复杂图像-文本关系（Hateful Memes 数据集）上表现不佳。通过详细的消融研究和错误分析，我们展示了当前融合方法未能捕捉细微的跨模态交互，尤其是在涉及良性干扰项的情况下。我们的发现为开发更鲁棒的仇恨检测系统提供了关键见解，并突显了针对不同模态的架构考虑的必要性。代码已公开于 https://github.com/gak97/Video-vs-Meme-Hate。
引用
@article{arxiv.2502.07138,
title = {Towards a Robust Framework for Multimodal Hate Detection: A Study on Video vs. Image-based Content},
author = {Girish A. Koushik and Diptesh Kanojia and Helen Treharne},
journal= {arXiv preprint arXiv:2502.07138},
year = {2025}
}
备注
Accepted to the MM4SG Workshop at the WebConf 2025