审视儿童保护服务中NLP工具的种族偏见风险
计算与语言
2023-06-01 v1
摘要
尽管大量文献已证实自然语言处理(NLP)模型中存在人口统计偏见，多数工作依赖于精心设计的偏见度量，可能无法反映真实世界应用。与此同时，从业者正日益在高风险环境中使用算法工具，近期对NLP尤为关注。本工作中，我们关注这样一个环境：儿童保护服务(CPS)。CPS工作者常就其服务的家庭撰写大量自由文本笔记，且CPS机构正积极寻求部署NLP模型以利用这些数据。鉴于该环境中已确立的种族偏见，我们调查已部署NLP可能加剧种族差异的途径。我们具体考察笔记内的词统计以及风险预测、共指消解和命名实体识别(NER)中的算法公平性。我们记录了NER模型中一致的算法不公平、共指消解模型中可能的算法不公平，以及风险预测中加剧种族偏见的证据匮乏。尽管对风险预测已有显著的既有批评，我们的结果揭示了现实信息抽取系统中先前未记录的种族偏见风险，突显部署它们的潜在隐患，即便其看似更无害。我们的工作是对潜在部署环境中NLP算法公平性的罕见现实考察，也是对CPS环境部署NLP相关特定风险的及时调查。
引用
@article{arxiv.2305.19409,
title = {Examining risks of racial biases in NLP tools for child protective services},
author = {Anjalie Field and Amanda Coston and Nupoor Gandhi and Alexandra Chouldechova and Emily Putnam-Hornstein and David Steier and Yulia Tsvetkov},
journal= {arXiv preprint arXiv:2305.19409},
year = {2023}
}
备注
In 2023 ACM Conference on Fairness, Accountability, and Transparency (FAccT '23)