商业人脸检测模型与学术模型一样存在偏见吗？
计算机视觉与模式识别
2022-12-01 v2 人工智能
计算机与社会
机器学习
摘要
随着人脸识别系统部署得越来越广泛，学者和活动家们研究了其偏见与危害。审计通常用于实现这一目标，并将算法人脸识别系统的性能与带有关于图像主体各种元数据标签的数据集进行比较。开创性工作发现了在性别表达、年龄、感知种族、肤色等方面的性能差异。这些研究和审计通常考察分为两类算法：学术模型或商业模型。我们提出了学术与人脸检测商业系统之间的详细比较，具体考察其对噪声的鲁棒性。我们发现最先进的学术人脸检测模型在其噪声鲁棒性上表现出人口统计学差异，具体表现为对年长个体和以男性化方式表达性别的个体性能统计显著下降。当我们将这些差异的大小与商业模型比较时，我们得出结论：商业模型——与其相对更大的开发预算和行业级公平承诺形成对比——总是与学术模型一样有偏见或更有偏见。
引用
@article{arxiv.2201.10047,
title = {Are Commercial Face Detection Models as Biased as Academic Models?},
author = {Samuel Dooley and George Z. Wei and Tom Goldstein and John P. Dickerson},
journal= {arXiv preprint arXiv:2201.10047},
year = {2022}
}
备注
This preprint and arXiv:2108.12508 were combined and a more rigorous analysis added to result in the NeurIPS Datasets & Benchmark 2022 paper arXiv:2211.15937