Multimodal Hate Detection Using Dual-Stream Graph Neural Networks
计算机视觉与模式识别
2025-09-18 v1
摘要
仇恨视频对在线安全和现实生活的福祉构成严重风险，亟需有效的检测方法。虽然集成多模态信息的多模态分类方法在单模态方法中性能更好，但通常忽略即使存在最小的仇恨内容也能决定视频类别这一事实。具体而言，它们通常对所有内容都相同地对待，而不是强调仇恨成分。此外，现有的多模态方法无法系统地捕获视频中的结构化信息，限制了多模态融合的效果。为此，我们提出一种新型的双流图神经网络模型。它通过将给定视频分为多个实例来构建实例图，以提取实例级别的特征。然后，辅助权重图为这些特征分配重要性权重，以突出显示仇恨实例的重要性。重要性权重和实例特征被组合以生成视频标签。我们的模型采用图基框架系统地建模视频内部及跨模态的结构关系。广泛的实验表明，我们的模型在仇恨视频分类中处于最先进水平，并具有强大的可解释性。代码已公开：https://github.com/Multimodal-Intelligence-Lab-MIL/MultiHateGNN。
引用
@article{arxiv.2509.13515,
title = {Multimodal Hate Detection Using Dual-Stream Graph Neural Networks},
author = {Jiangbei Yue and Shuonan Yang and Tailin Chen and Jianbo Jiao and Zeyu Fu},
journal= {arXiv preprint arXiv:2509.13515},
year = {2025}
}