歧视检测结果检验中的次边际性问题

结果检验是一种流行的用于检测借贷、招聘和警务决策中偏见的方法。这些检验通过比较各组决策的成功率来运作。例如，如果观察到向少数族裔申请人发放的贷款比向白人发放的贷款偿还更频繁，则表明只有格外合格的少数族裔获得了贷款，表明存在歧视。然而，结果检验已知受到次边际性问题的困扰：即使不存在歧视，如果两组具有不同的风险分布，少数族裔和白人贷款接受者的偿还率也可能不同。因此，至少在理论上，结果检验可能无法准确检测歧视。我们开发了一种新的歧视统计检验——阈值检验——它通过层次贝叶斯潜变量模型联合估计决策阈值和风险分布，从而缓解次边际性问题。将我们的检验应用于北卡罗来纳州 450 万次警务拦截的数据集，我们发现次边际性问题不仅仅是一种理论可能性，并且可能导致结果检验在实践中产生误导性结果。