罗马 Urdu 中的仇恨言论检测
摘要
仇恨言论是一种特定类型的争议性内容，被广泛立法为必须识别并屏蔽的犯罪行为。然而，由于 Twitter 数据流的巨大体量与高速性，仇恨言论检测无法人工完成。针对此问题，已有若干研究面向欧洲语言进行仇恨言论检测，而对低资源南亚语言的关注甚少，使社交媒体对数百万用户而言存在风险。具体而言，据我们所知，尚未有研究针对次大陆广泛使用的罗马 Urdu 文本进行仇恨言论检测。在本研究中，我们爬取了超过 90,000 条推文并人工解析以识别出 5,000 条罗马 Urdu 推文。随后，我们采用迭代方法制定标注指南，并用于生成 Hate Speech Roman Urdu 2020 语料库。该语料库中的推文在三个层级上被分类：Neutral-Hostile、Simple-Complex 和 Offensive-Hate speech。作为另一贡献，我们使用了五种监督学习技术（包括一种深度学习技术）来评估并比较它们在仇恨言论检测上的有效性。结果表明，Logistic Regression 在所有技术中表现最佳，包括在两个层级的分类上优于深度学习技术，其在区分 Neutral-Hostile 推文时取得了 0.906 的 F1 分数，在区分 Offensive-Hate speech 推文时取得了 0.756 的 F1 分数。
引用
@article{arxiv.2108.02830,
title = {Hate Speech Detection in Roman Urdu},
author = {Moin Khan and Khurram Shahzad and Kamran Malik},
journal= {arXiv preprint arXiv:2108.02830},
year = {2021}
}
备注
This is a pre-print of a contribution published in ACM Transactions on Asian and Low-Resource Language Information Processing. The final version is available online at the given journal link