仇恨言论检测：一个已解决的问题？Twitter上长尾分布的挑战性案例

近年来，社交媒体上仇恨言论传播的加剧以及对于有效应对措施的迫切需求，引起了政府、企业和研究人员的重大投入。针对在线自动化仇恨言论检测已开发了大量方法。其旨在将文本内容分类为非仇恨或仇恨言论，在后一种情况下，方法还可能识别仇恨言论中的针对特征（即仇恨类型，如种族、宗教）。然而，我们注意到两者（即非仇恨与仇恨）的性能存在显著差异。本工作中，我们基于实际原因主张关注后一问题。我们表明这是一项更具挑战性的任务，因为我们对典型数据集中语言的分析显示，仇恨言论缺乏独特、可判别的特征，因而存在于数据集中难以发现的“长尾”部分。我们随后提出深度神经网络结构作为特征提取器，特别有效地捕捉仇恨言论的语义。我们的方法在基于Twitter的最大仇恨言论数据集集合上进行了评估，结果表明在宏平均F1上可优于最佳方法多达5个百分点，或在识别仇恨内容这一更具挑战性的情况下多达8个百分点。