基于深度学习与迁移学习的攻击性语言与仇恨语音检测
计算与语言
2021-08-24 v2 人工智能
摘要
由于来自不同文化和教育背景的人群使用互联网呈指数级增长，网络有毒言论已成为当今一个关键问题。区分文本消息是否属于仇恨语音和攻击性语言，是自动检测有毒文本内容的关键挑战。本文中，我们提出一种将推文自动分类为三类的方法：仇恨、攻击性和非两者。使用公开推文数据集，我们首先进行实验，从空嵌入构建 BI-LSTM 模型，随后也尝试使用预训练 Glove 嵌入的相同神经网络架构。接下来，我们引入一种利用现有预训练语言模型 BERT (Bidirectional Encoder Representations from Transformers)、DistilBert (BERT 的蒸馏版本) 和 GPT-2 (Generative Pre-Training) 的仇恨语音检测迁移学习方法。我们考虑不同神经网络架构、学习率和归一化方法等，对我们最佳模型 (BI-LSTM) 进行超参数调优分析。在调优模型并以最佳参数组合后，我们在测试数据上评估取得了超过 92% 的准确率。我们还创建了一个包含主要功能的类模块，包括文本分类、情感检查和文本数据增强。该模型可作为用户与 Twitter 之间的中间模块。
引用
@article{arxiv.2108.03305,
title = {Offensive Language and Hate Speech Detection with Deep Learning and Transfer Learning},
author = {Bencheng Wei and Jason Li and Ajay Gupta and Hafiza Umair and Atsu Vovor and Natalie Durzynski},
journal= {arXiv preprint arXiv:2108.03305},
year = {2021}
}