区分亵渎性言论与仇恨言论的挑战
计算与语言
2018-03-16 v1
摘要
在本研究中，我们探讨了社交媒体中区分一般亵渎性言论与仇恨言论的问题，这一任务尚未得到广泛关注。使用一个专门为该任务标注的新数据集，我们采用监督分类以及一组包含 n-gram、skip-gram 和基于聚类的词表示的特征。我们应用了基于单一分类器以及更先进的集成分类器和堆叠泛化的方法，在该三分类任务中取得了 80% 准确率的最佳结果。结果分析表明，区分仇恨言论与亵渎性言论并非一项简单任务，这可能需要能够捕捉对文本更深层理解的特征，而仅依靠表层 n-gram 并不总是可行。标注数据中由于标注者主观判定差异导致的金标签变异性也是一个问题。文中还讨论了未来工作的其他方向。
引用
@article{arxiv.1803.05495,
title = {Challenges in Discriminating Profanity from Hate Speech},
author = {Shervin Malmasi and Marcos Zampieri},
journal= {arXiv preprint arXiv:1803.05495},
year = {2018}
}