基于情感的多模态学习仇恨言论检测

近年来，由于社交媒体平台在所有年龄组、种族和族裔中的广泛使用，监控其中的仇恨言论和攻击性语言变得至关重要。因此，利用自然语言处理 (NLP) 对这类内容进行自动检测已有了大量研究努力。虽然在文本数据过滤上取得了成功，但尚无研究关注多媒体数据中的仇恨内容检测。随着数据存储日益便利以及社交媒体平台的指数级增长，多媒体内容在互联网上的扩散程度与文本数据相当。然而，它逃过了自动过滤系统。仇恨言论和攻击性主要通过三种模态在多媒体中被检测，即视觉、听觉和言语。我们的初步研究得出结论，在分类仇恨言论时最关键的特征是说话者的情绪状态及其对所说词语的影响，因此将我们当前的研究限制在这些模态上。本文提出了首个结合代表情感的听觉特征与语义特征以检测仇恨内容的多模态深度学习框架。我们的结果表明，在检测仇恨多媒体内容时，融入情感属性相比基于文本的模型带来了显著改进。本文还提出了一个新的仇恨言论检测视频数据集 (HSDVD)，该数据集为多模态学习之目的而收集，因为目前不存在此类数据集。