去偏“偏差”度量

当一个模型在社会或文化相关群体（如种族、性别或许多此类群体的交集）上的表现存在差异时，常被称为“有偏”。尽管过去几年中算法公平性的大量工作集中于发展各种模型公平性（即群体间模型表现差异的缺失）的定义并消除此类“偏差”，但严格度量它的工作却少得多。在实践中，拥有高质量、易于人类理解的模型表现差异度量及其相关不确定性量化十分重要，它们可作为多面决策过程的输入。本文从数学上并通过模拟表明，许多用于度量群体间模型表现差异的指标，其本身作为其所声称代表的潜在量的统计估计量是有偏的。我们认为，这可能导致关于不同维度上相对群体间模型表现差异的误导性结论，尤其在部分敏感变量由成员很少的类别构成时。我们提出“双重校正”方差估计量，它提供跨组模型表现方差的无偏估计与不确定性量化。它在概念上简单，且无需统计软件包或数值优化即可轻松实现。我们通过模拟展示该方法的效用，并在真实数据集上表明：尽管群体间模型表现差异的统计有偏估计量指示出统计显著差异，但在考虑估计量中的统计偏差后，估计的组间差异不再具有统计显著性。