自动化能力歧视主义:情感与毒性分析模型中显性残疾偏见的探究
计算与语言
2023-07-19 v1 人工智能
计算机与社会
机器学习
摘要
我们分析情感分析和毒性检测模型,以检测针对残疾人(PWD)的显性偏见的存在。我们采用扰动敏感性分析的偏见识别框架,考察社交媒体平台(特别是Twitter和Reddit)上有关残疾人的对话,以深入了解残疾偏见如何在现实社会环境中传播。随后我们创建了\textit{情感偏见识别测试}(BITS)语料库,用于量化任何情感分析和毒性检测模型中的显性残疾偏见。我们的研究利用BITS揭示了四种开放AIaaS(AI即服务)情感分析工具(即TextBlob、VADER、Google Cloud Natural Language API、DistilBERT)和两种毒性检测模型(即两个版本的Toxic-BERT)中存在的显著偏见。我们的结果表明,所有这些模型都表现出对残疾人具有统计显著的显性偏见。
引用
@article{arxiv.2307.09209,
title = {Automated Ableism: An Exploration of Explicit Disability Biases in Sentiment and Toxicity Analysis Models},
author = {Pranav Narayanan Venkit and Mukund Srinath and Shomir Wilson},
journal= {arXiv preprint arXiv:2307.09209},
year = {2023}
}
备注
TrustNLP at ACL 2023