用于检测在线仇恨言论的机器学习与深度学习算法对比分析
计算与语言
2021-08-03 v1 人工智能
摘要
在社交媒体时代，用户变得容易受到在线仇恨言论的影响。人们已经多次尝试使用机器学习对仇恨言论进行分类，但最先进的模型对于实际应用来说还不够鲁棒。这归因于使用了原始的自然语言处理 (NLP) 特征工程技术。在本文中，我们探索了从不同嵌入到传统 NLP 算法的各种特征工程技术。我们还尝试了不同特征的组合。通过实验，我们意识到基于 roBERTa（一种稳健优化的 BERT 方法）的句子嵌入，使用决策树进行分类，给出了 0.9998 F1 分数的最佳结果。在本文中，我们得出结论，基于 BERT 的嵌入为此问题提供了最有用的特征，并且有能力被构建成一个实用的鲁棒模型。
引用
@article{arxiv.2108.01063,
title = {Comparative Analysis of Machine Learning and Deep Learning Algorithms for Detection of Online Hate Speech},
author = {Tashvik Dhamija and Anjum and Rahul Katarya},
journal= {arXiv preprint arXiv:2108.01063},
year = {2021}
}
备注
10 pages