情感分析与毒性检测模型中对残障人士偏见的识别
计算与语言
2021-11-29 v1 人工智能
摘要
社会人口学偏见是自然语言处理中的常见问题，影响其应用的公平性与完整性。在情感分析中，这些偏见可能破坏对提及个人属性的文本的情感预测，而无偏的人类读者会认为这些属性是中性的。这种歧视在公共和私营部门的情感分析应用中可能产生重大后果。例如，在社交媒体平台的网络滥用和观点分析等应用中，错误的推断可能导致针对特定人群的不良后果，如错误审查。本文中，我们探讨情感分析和毒性分类模型对残障人士（PWD）的歧视问题。我们对情感和毒性分析模型进行考察，以详细理解它们如何歧视残障人士。我们提出情感偏见识别测试（BITS），一个包含 1,126 个句子的语料库，旨在探测情感分析模型在残障方面的偏见。我们使用该语料库证明了四种广泛使用的情感分析工具（TextBlob、VADER、Google Cloud Natural Language API 和 DistilBERT）以及两个训练用于预测 Jigsaw 挑战中毒性评论的毒性分析模型（毒性评论分类与毒性评论中的非预期偏见）存在统计显著的偏见。结果表明，所有模型在提及残障的句子上都表现出强烈的负面偏见。我们公开发布 BITS 语料库，供他人识别任何情感分析工具中针对残障的潜在偏见，并扩充该语料库以用作其他社会人口学变量的测试。
引用
@article{arxiv.2111.13259,
title = {Identification of Bias Against People with Disabilities in Sentiment Analysis and Toxicity Detection Models},
author = {Pranav Narayanan Venkit and Shomir Wilson},
journal= {arXiv preprint arXiv:2111.13259},
year = {2021}
}