跨种族人脸验证的人机对比：性能上限处的种族偏差？
计算机视觉与模式识别
2023-06-01 v2
摘要
人脸识别算法在某些情况下比人类更准确，尽管人类和机器都表现出基于种族的准确率差异。随着算法不断改进，持续评估其相对于人类的种族偏差十分重要。我们构建了一个具有挑战性的“跨种族”人脸验证测试，并用它来比较人类与两个最先进的人脸识别系统。选取白人和黑人的同身份与不同身份人脸对，使其对人类而言困难，以及一个来自 2019 年的 ArcFace 人脸识别算法的开源实现（5）。人类参与者（54 名黑人；51 名白人）在 7 点 Likert 型量表上判断人脸对是否为同一身份或不同身份。来自 Face Recognition Vendor Test-ongoing 的两个表现最优的人脸识别系统进行了相同测试（7）。按设计，该测试对人类整体而言具有挑战性，其表现高于随机水平，但远非完美。两个最先进的人脸识别系统均得出了完美分数（无错误），因此两种族的准确率相等。我们得出结论，针对黑人和白人个体两张正面人脸图像之间身份验证的最先进系统可以超越普通人群。该结果是否能推广到具有挑战性的真实环境图像，是在非受限环境中部署人脸识别系统时的紧迫关切。
引用
@article{arxiv.2305.16443,
title = {Human-Machine Comparison for Cross-Race Face Verification: Race Bias at the Upper Limits of Performance?},
author = {Geraldine Jeckeln and Selin Yavuzcan and Kate A. Marquis and Prajay Sandipkumar Mehta and Amy N. Yates and P. Jonathon Phillips and Alice J. O'Toole},
journal= {arXiv preprint arXiv:2305.16443},
year = {2023}
}
备注
8 pages, 6 figures