实践中的觉察:反歧视中敏感属性数据获取的张力
计算机与社会
2019-12-16 v1
摘要
组织无法解决它们看不见的人口统计差异。近期关于机器学习与公平性的研究强调,对种族、性别等敏感属性的觉察对于干预措施的开发至关重要。然而在现实中,这些数据的存在不能被想当然。本文以美国的就业、信贷和医疗领域为切入点,揭示塑造敏感属性数据可用性的条件。针对每个领域,我们描述了私营公司如何以及何时为反歧视目的收集或推断敏感属性数据。一个不一致的局面浮现:一些公司依法必须收集敏感属性数据,而另一些则被禁止这样做。还有一些公司在缺乏法律强制的情况下,认定收集与填补这些数据对于解决差异是恰当的。这一局面对公平性研究及其未来应用具有重要意义。若那些中介人生机会获取的公司无力或犹豫于收集或推断敏感属性数据,那么所提出的在机器学习模型中检测与缓解偏差的技术可能永远无法在实验室外落地。我们得出结论:当今法律要求与企业实践虽跨领域高度不一致,却为如何在适当情形下处理敏感数据的收集与推断提供了经验教训。我们敦促包括机器学习从业者在内的利益相关方,积极助力勾勒一条兼顾政策目标与技术需求的前行路径。
引用
@article{arxiv.1912.06171,
title = {Awareness in Practice: Tensions in Access to Sensitive Attribute Data for Antidiscrimination},
author = {Miranda Bogen and Aaron Rieke and Shazeda Ahmed},
journal= {arXiv preprint arXiv:1912.06171},
year = {2019}
}