利用领域特定词嵌入结合深度学习与 BERT 检测白人至上主义仇恨言论
计算与语言
2020-10-02 v1 人工智能
摘要
白人至上主义者秉持一种认为白人优于其他种族人群的激进意识形态。这些群体的关键影响不再局限于社交媒体；它们还通过宣扬种族仇恨与暴力，以多种方式对社会产生显著影响。白人至上主义仇恨言论是社交媒体上最近观察到的有害内容之一。由于信息的爆炸式增长，传统的仇恨言论举报渠道已被证明不够充分，因此有必要找到一种自动及时检测此类言论的方法。本研究探讨了利用深度学习和自然语言处理技术自动检测 Twitter 上白人至上主义仇恨言论的可行性。通过实验，我们采用了两种方法：第一种方法使用从白人至上主义语料库中提取的领域特定嵌入，以捕捉此类白人至上主义俚语的含义，并结合双向长短期记忆（LSTM）深度学习模型，该方法达到了 0.74890 的 F1 分数。第二种方法使用最近的语言模型之一 BERT，BERT 模型提供了大多数 NLP 任务的最先进（state of the art）性能，其达到了 0.79605 的 F1 分数。两种方法均在平衡数据集上测试，鉴于我们的实验仅基于文本数据。该数据集由来自 Twitter 创建的数据集和编译自该白人至上主义论坛的 Stormfront 数据集组合而成。
引用
@article{arxiv.2010.00357,
title = {Detecting White Supremacist Hate Speech using Domain Specific Word Embedding with Deep Learning and BERT},
author = {Hind Saleh Alatawi and Areej Maatog Alhothali and Kawthar Mustafa Moria},
journal= {arXiv preprint arXiv:2010.00357},
year = {2020}
}
备注
32 pages,2 figures