利用BERT与仇恨言论词嵌入的深度模型检测仇恨言论
计算与语言
2021-11-03 v1
摘要
网络和社交媒体上产生的海量数据增加了检测在线仇恨言论的需求。检测仇恨言论将减少其对他人的负面影响和冲击。自然语言处理（NLP）领域的许多努力旨在检测一般的仇恨言论或检测特定类型的仇恨言论，如涉及宗教、种族、性别或性取向的言论。仇恨社群倾向于在交流中使用缩写、故意拼写错误和编码词汇以逃避检测，这给仇恨言论检测任务增添了更多挑战。因此，词表示将在检测仇恨言论中扮演越来越关键的角色。本文研究了在基于双向LSTM的深度模型中利用特定领域词嵌入来自动检测/分类仇恨言论的可行性。此外，我们研究了将迁移学习语言模型（BERT）用于仇恨言论问题作为二分类任务。实验表明，在来自现有仇恨言论数据集的组合平衡数据集上，特定领域词嵌入与基于双向LSTM的深度模型取得了93%的f1分数，而BERT取得了高达96%的f1分数。
引用
@article{arxiv.2111.01515,
title = {Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model},
author = {Hind Saleh and Areej Alhothali and Kawthar Moria},
journal= {arXiv preprint arXiv:2111.01515},
year = {2021}
}