面向大规模仇恨言论检测的深度生成建模
计算与语言
2020-05-14 v1 信息检索
机器学习
摘要
仇恨言论检测是社交媒体平台中的一个关键问题，常因助长仇恨传播和引发身体暴力而受到指责。仇恨言论检测需要海量资源，包括用于在线帖子和推文监控的高性能计算，以及数千名人类专家对可疑帖子和推文的日常筛查。近来，基于深度学习（DL）的解决方案已被提出用于自动检测仇恨言论，使用规模为数千条仇恨言论序列的适中训练数据集。虽然这些方法在特定数据集上表现良好，但它们检测新仇恨言论序列的能力有限且未被研究。作为一种数据驱动方法，众所周知 DL 在训练数据集规模与多样性扩大时超越其他方法。因此，我们首先提出一个由深度生成语言模型产生的 100 万条真实仇恨与非仇恨序列的数据集。我们进一步利用所生成的数据集训练一个经过充分研究的基于 DL 的仇恨言论检测器，并展示了在五个公开仇恨言论数据集上一致且显著的性能提升。因此，所提方案能够高灵敏度地检测极多种类的仇恨言论序列，为完全自动化的解决方案铺平了道路。
引用
@article{arxiv.2005.06370,
title = {Towards Hate Speech Detection at Large via Deep Generative Modeling},
author = {Tomer Wullach and Amir Adler and Einat Minkov},
journal= {arXiv preprint arXiv:2005.06370},
year = {2020}
}