高效仇恨言论检测：评估从传统方法到 Transformer 的 38 种模型
计算与语言
2025-09-19 v1 人工智能
社会与信息网络
摘要
社交媒体上仇恨言论的不断增加迫切需要自动检测系统，在准确性与计算效率之间进行平衡。本研究评估了 38 种模型配置，用于检测跨越 6.5K 至 451K 样本的数据集中的仇恨言论。我们分析了 Transformer 架构（如 BERT、RoBERTa、Distil-BERT）、深度神经网络（如 CNN、LSTM、GRU、层次注意力网络），以及传统机器学习方法（如 SVM、CatBoost、随机森林）。我们的结果显示，Transformer 模型，特别是 RoBERTa，始终实现卓越的性能，准确率和 F1 分数均超过 90%。在深度学习方法中，层次注意力网络取得最佳结果，而传统方法如 CatBoost 和 SVM 仍保持竞争力，F1 分数超过 88%，计算成本显著降低。此外，我们的分析强调了数据集特征的重要性，平衡且规模适中且未预处理的数据集在准确性上优于规模更大且预处理后的数据集。这些发现为开发高效且有效的仇恨言论检测系统提供了宝贵的见解。
引用
@article{arxiv.2509.14266,
title = {Efficient Hate Speech Detection: Evaluating 38 Models from Traditional Methods to Transformers},
author = {Mahmoud Abusaqer and Jamil Saquer and Hazim Shatnawi},
journal= {arXiv preprint arXiv:2509.14266},
year = {2025}
}
备注
11 pages, 10 tables, conference paper