AustroTox：用于目标导向奥地利德语仇恨语言检测的数据集
计算与语言
2024-06-13 v1 人工智能
计算机与社会
摘要
在毒性检测中，模型可解释性受益于词级别注释。然而，目前仅有英语可获得此类注释。我们引入了一个来自新闻论坛的数据集，用于仇恨语言检测，具有显著特点，即包含奥地利德语方言，涵盖4,562条用户评论。除了二元仇恨程度分类外，我们还识别了每条评论中构成粗俗语言或代表仇恨语句目标的文本片段。我们评估了微调语言模型以及在零样和少量样本情境下的大语言模型。结果表明，尽管微调模型在检测粗俗方言等语言特殊现象方面表现出色，大语言模型在检测AustroTox中的仇恨程度方面表现优越。我们公开数据与代码。
引用
@article{arxiv.2406.08080,
title = {AustroTox: A Dataset for Target-Based Austrian German Offensive Language Detection},
author = {Pia Pachinger and Janis Goldzycher and Anna Maria Planitzer and Wojciech Kusa and Allan Hanbury and Julia Neidhardt},
journal= {arXiv preprint arXiv:2406.08080},
year = {2024}
}
备注
Accepted to Findings of the Association for Computational Linguistics: ACL 2024