预测敏感度：对已部署分类器反事实公平性的持续审计

随着基于 AI 的系统日益影响我们生活的诸多领域，对这些系统进行公平性审计已成为一个利害关系日益重大的问题。传统的群体公平度量可能遗漏针对个体的歧视，且难以在部署后应用。反事实公平性描述了一种个体化的公平概念，但在部署后评估更具挑战性。我们提出预测敏感度，一种对已部署分类器中反事实公平性进行持续审计的方法。预测敏感度有助于回答以下问题：若该个体属于不同人口统计群体，此预测是否会不同——对部署模型做出的每一次预测皆然。预测敏感度可利用受保护状态与其他特征之间的相关性，且在预测时不需要受保护状态信息。我们的实证结果表明，预测敏感度能有效检测反事实公平性的违背。