以表情符号为锚点检测阿拉伯语攻击性语言与仇恨言论
计算与语言
2022-05-20 v2
摘要
我们引入一种通用的、语言无关的方法，以收集不论主题或体裁的大比例攻击性与仇恨推文。我们利用嵌入表情符号中的语言外信息来收集大量攻击性推文。我们将所提方法应用于阿拉伯语推文并与英语推文比较——分析关键文化差异。我们观察到这些表情符号在Twitter不同时间段持续用于表示攻击性。我们人工标注并公开发布最大的阿拉伯语攻击性、细粒度仇恨言论、粗俗与暴力内容数据集。此外，我们使用不同transformer架构对该数据集进行攻击性与仇恨言论检测基准测试，并开展深入语言学分析。我们在外部数据集上评估模型——一个以完全不同方法收集的Twitter数据集，以及一个含Twitter、YouTube和Facebook评论的多平台数据集，以评估泛化能力。这些数据集上的有竞争力结果表明，用我们的方法收集的数据捕获了攻击性语言的普遍特征。我们的发现还突出了攻击性交流中的常用词、仇恨言论的常见目标、暴力推文中的特定模式；并指出了可归因于NLP模型局限的常见分类错误。我们观察到即便最先进的transformer模型也可能未能考虑文化、背景与语境，或理解真实世界数据中的细微差别如讽刺。
引用
@article{arxiv.2201.06723,
title = {Emojis as Anchors to Detect Arabic Offensive Language and Hate Speech},
author = {Hamdy Mubarak and Sabit Hassan and Shammur Absar Chowdhury},
journal= {arXiv preprint arXiv:2201.06723},
year = {2022}
}