用于评估仇恨言论识别中人口统计偏差的多语言 Twitter 语料库与基线
计算与语言
2020-03-04 v2
摘要
现有关于文档分类模型公平性评估的研究主要使用无作者人口统计属性真值的合成单语数据。在本工作中,我们收集并发布了一个用于仇恨言论检测任务的多语言 Twitter 语料库,其中推断了四种作者人口统计因素:年龄、国家、性别与种族/民族。该语料库涵盖五种语言:英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用众包平台 Figure Eight 对推断的人口统计标签进行评估。为考察可能导致偏差的因素,我们对英语语料库上人口统计可预测性进行了实证分析。我们度量了四种流行文档分类器的性能,并评估了基线分类器在作者级人口统计属性上的公平性与偏差。
引用
@article{arxiv.2002.10361,
title = {Multilingual Twitter Corpus and Baselines for Evaluating Demographic Bias in Hate Speech Recognition},
author = {Xiaolei Huang and Linzi Xing and Franck Dernoncourt and Michael J. Paul},
journal= {arXiv preprint arXiv:2002.10361},
year = {2020}
}
备注
Accepted at LREC 2020