公平性的错觉：利用审计研究审计公平性干预

人工智能系统，特别是那些使用机器学习的系统，正被部署在从招聘到贷款发放等领域，以实现这些复杂决策的自动化。评判这些人工智能系统及其人类决策对应物的有效性和公平性，是计算科学和社会科学领域共同研究的一个复杂而重要的课题。在机器学习中，解决下游分类器偏差的一种常见方法是重采样训练数据以抵消差异。例如，如果招聘率因某个受保护类别而异，则可以在训练集中均衡该比率以减轻最终分类器中的偏差。虽然简单且看似有效，但这些方法通常仅使用通过便利样本获得的数据进行评估，从而在指标中引入了选择偏差和标签偏差。在社会科学、心理学、公共卫生和医学领域，审计研究将虚构的“测试者”（如简历、电子邮件、患者演员）发送给受试者（如职位空缺、企业、医生）进行随机对照试验，提供了支持严格估计歧视的高质量数据。在本文中，我们研究了如何利用审计研究的数据来提升我们训练和评估自动化招聘算法的能力。我们发现，此类数据揭示了这样的情况：跨类别均衡基率的常见公平干预方法在使用传统指标衡量时似乎实现了均等，但在适当测量时实际上存在约 10% 的差异。我们额外引入了基于个体处理效应估计方法的干预措施，利用该数据进一步减少了算法歧视。