用于检验 AI 招聘中人格预测有效性的外部稳定性审计框架
计算机与社会
2022-04-13 v2 人工智能
机器学习
摘要
自动化招聘系统是所有高风险 AI 系统中发展最为迅速的之一。其中包括算法人格测试，其利用心理测量学的洞见，并承诺基于求职者的简历或社交媒体资料揭示预示未来成功的人格特质。我们利用其所产生输出的稳定性来审视此类系统的有效性，并指出可靠性是有效性的必要非充分条件。我们的方法是 (a) 开发一种对算法人格测试预测稳定性进行外部审计的方法论，以及 (b) 以对 Humantic AI 和 Crystal 两个系统的审计实例化该方法论。关键的是，我们并非质疑或肯定心理测量学测试中的假设——即人格是有意义且可测量的构念，且人格特质可预示工作上的未来成功——而是围绕算法人格测试供应商自身所做底层假设来构建方法论。我们的主要贡献是开发了一个用于审计算法系统稳定性的社会技术框架。该贡献辅以一个实现审计技术组件的开源软件库，可用于对算法系统开展类似稳定性审计。我们用对两个真实世界人格预测系统（即 Humantic AI 和 Crystal）的审计实例化了框架。我们审计框架的应用表明，这两个系统在测量的关键层面均表现出显著不稳定性，因而不能被视为有效的测试工具。
引用
@article{arxiv.2201.09151,
title = {An External Stability Audit Framework to Test the Validity of Personality Prediction in AI Hiring},
author = {Alene K. Rhea and Kelsey Markey and Lauren D'Arinzo and Hilke Schellmann and Mona Sloane and Paul Squires and Falaah Arif Kahn and Julia Stoyanovich},
journal= {arXiv preprint arXiv:2201.09151},
year = {2022}
}