利用机器学习检测推特上的仇恨言论与攻击性语言：一种基于 N-gram 与 TFIDF 的方法
计算与语言
2018-09-25 v1
摘要
由于来自不同文化与教育背景的人群使用互联网的数量呈指数级增长，有毒在线内容已成为当今世界的重大问题。区分仇恨言论与攻击性语言是自动检测有毒文本内容中的关键挑战。本文提出一种方法，将推特上的推文自动分类为三类：仇恨性、攻击性与干净。利用推特数据集，我们以 n-gram 作为特征并取其词频-逆文档频率（TFIDF）值输入多个机器学习模型进行实验。我们考虑 n-gram 中 n 的若干取值以及 TFIDF 归一化方法，对模型进行比较分析。在对表现最佳的模型进行调优后，我们在测试数据上取得了 95.6% 的准确率。我们还构建了一个作为用户与推特之间中间模块的组件。
引用
@article{arxiv.1809.08651,
title = {Detecting Hate Speech and Offensive Language on Twitter using Machine Learning: An N-gram and TFIDF based Approach},
author = {Aditya Gaydhani and Vikrant Doma and Shrikant Kendre and Laxmi Bhagwat},
journal= {arXiv preprint arXiv:1809.08651},
year = {2018}
}
备注
To be presented at IEEE International Advance Computing Conference 2018