中文

丹麦语攻击性语言与仇恨言论检测

计算与语言 2023-03-24 v2

摘要

社交媒体平台上攻击性语言的存在及其带来的影响正成为现代社会的一大关切。鉴于每日产生的海量内容,需要自动方法来检测并处理此类内容。迄今,多数研究聚焦于解决英语的该问题,而此问题实为多语言的。我们构建了一个包含来自\textit{Reddit}与\textit{Facebook}的用户生成评论的丹麦语数据集。它包含来自多个社交媒体平台的用户生成评论,据我们所知,其为同类首个。我们的数据集经标注以捕捉攻击性语言的各种类型与目标。我们开发了四个自动分类系统,每个均设计用于英语与丹麦语。在英语攻击性语言检测中,性能最佳系统取得宏平均F1分数0.740.74,丹麦语最佳系统取得宏平均F1分数0.700.70。在检测攻击性帖子是否有特定目标时,英语最佳系统宏平均F1分数为0.620.62,丹麦语最佳系统为0.730.73。最后,在针对性攻击帖子目标类型检测中,英语最佳系统宏平均F1分数为0.560.56,丹麦语最佳系统为0.630.63。我们针对英语与丹麦语的工作捕捉了攻击性语言的类型与目标,并提出了检测仇恨言论与网络欺凌等不同种类攻击性语言的自动方法。

关键词

引用

@article{arxiv.1908.04531,
  title  = {Offensive Language and Hate Speech Detection for Danish},
  author = {Gudbjartur Ingi Sigurbergsson and Leon Derczynski},
  journal= {arXiv preprint arXiv:1908.04531},
  year   = {2023}
}

备注

Proceedings of the Twelfth Language Resources and Evaluation Conference