综合公平指数（CEI）：定义及其在生物识别系统偏差评估中的应用

我们提出了一种新型度量标准，用于量化机器学习模型的偏差行为。在此核心中，该度量标准包含一种在得分分布之间进行相似性度量的新方法，该方法平衡了其一般形状和尾部概率。在此意义上，我们提出的度量标准在许多应用领域都可能有用。本文聚焦于并将其用于面部识别系统的运行中评估，特别关注量化人口统计偏差；该应用尤其适合我们这个度量标准。近年来，人们对生物识别系统中的人口统计偏差和公平性问题已引起广泛关注。这些系统的使用已在社会中广泛普及，引人担忧的是这些系统对不同人口群体的处理方式。防止和缓解人口统计偏差的一个关键步骤是首先检测并量化这些偏差。传统上，机器学习文献中用于量化人口群体间差异的两种方法已被研究：1) 测量错误率的差异，2) 测量得分分布的差异。我们的提议综合公平指数（CEI）兼顾了这两种方法，将分布尾部的错误与一般分布形状的错误结合在一起。该新度量标准非常适合现实场景，测量的对象包括高性能系统和包括广泛协变量和人口统计群体的真实人脸数据库。我们首先展示了现有度量标准在真实情境下正确评估偏差存在性的局限性，然后提出新的度量标准以解决这些局限性。我们使用两个最先进的模型和四个广泛使用的数据库测试了该度量标准，表明其能力克服了先前偏差度量标准的主要缺陷。