度量攻击性语言分类器的地理性能差异
计算与语言
2022-09-16 v1
摘要
文本分类器以一刀切的解决方案形式被大规模应用。然而，许多研究表明分类器针对不同语言与方言存在偏差。在度量与发现这些偏差时，一些空白显现并应被解决。首先，“语言、方言与主题内容是否随地理区域变化？”；其次“若区域间存在差异，其是否影响模型性能？”。我们引入一个名为 GeoOLID 的新数据集，包含来自 15 个地理与人口多样城市的逾 1.4 万条样本以回应这些问题。我们对地理相关内容及其对攻击性语言检测模型性能差异的影响进行了全面分析。总体而言，我们发现当前模型不能跨地点泛化。同样，我们表明尽管攻击性语言模型在非裔美国人英语上产生假阳性，模型性能与每个城市的少数族裔人口比例并不相关。警告：本文包含攻击性语言。
引用
@article{arxiv.2209.07353,
title = {Measuring Geographic Performance Disparities of Offensive Language Classifiers},
author = {Brandon Lwowski and Paul Rad and Anthony Rios},
journal= {arXiv preprint arXiv:2209.07353},
year = {2022}
}
备注
Accepted by 29th International Conference on Computational Linguistics (COLING 2022)