考察两百种情感分析系统中的性别与种族偏见
计算与语言
2018-05-14 v1
摘要
自动机器学习系统可能无意中加剧并延续不适当的人类偏见。过去关于考察不适当偏见的工作主要集中于单个系统。此外，尚无用于考察系统中不适当偏见的基准数据集。在此，我们首次提出公平性评估语料库（Equity Evaluation Corpus，EEC），其由 8640 个精心挑选的英文句子组成，用以梳理出针对特定种族和性别的偏见。我们使用该数据集考察了参与近期共享任务 SemEval-2018 Task 1 “Affect in Tweets”的 219 个自动情感分析系统。我们发现若干系统显示出统计显著的偏见；即它们持续地对某一种族或某一性别给出略高的情感强度预测。我们免费提供 EEC。
引用
@article{arxiv.1805.04508,
title = {Examining Gender and Race Bias in Two Hundred Sentiment Analysis Systems},
author = {Svetlana Kiritchenko and Saif M. Mohammad},
journal= {arXiv preprint arXiv:1805.04508},
year = {2018}
}
备注
In Proceedings of the 7th Joint Conference on Lexical and Computational Semantics (*SEM), New Orleans, USA, 2018