谁来决定 AI 是否公平？算法审计中的标签问题
计算与语言
2021-11-18 v1 人工智能
人机交互
机器学习
摘要
被标注为“真实值”的数据集常被用于评估和审计应用于高风险场景的 AI 算法。然而，对于这些数据集中标签质量，并不存在广泛接受的基准。我们提供了实证证据，表明标签质量会显著扭曲真实场景中算法审计的结果。利用通常由印度 AI 公司雇佣的数据标注员，我们展示了真实值数据的保真度会导致 ASR 在城市与农村人口之间出现虚假的性能差异。经过严格但昂贵的标签清洗过程后，这些群体间的差异消失了。我们的发现凸显了标签质量与数据标注成本之间的权衡如何在实践中使算法审计复杂化。它们也强调了建立共识驱动、广泛接受的标签质量基准的必要性。
引用
@article{arxiv.2111.08723,
title = {Who Decides if AI is Fair? The Labels Problem in Algorithmic Auditing},
author = {Abhilash Mishra and Yash Gorana},
journal= {arXiv preprint arXiv:2111.08723},
year = {2021}
}
备注
Accepted to NeurIPS 2021 Data-Centric AI Workshop (https://datacentricai.org/)