用于数据偏差调查的特征重要性差异

人们普遍认为，分类器下游偏差的一个原因是训练数据中存在的偏差。纠正此类偏差可能涉及依赖具体情境的干预措施，例如在子群上分别训练模型、移除收集过程中存在偏差的特征，甚至进行真实世界实验以确定偏差来源。尽管需要进行此类数据偏差调查，但很少有自动化方法可协助从业者开展这些工作。在本文中，我们提出这样一种方法：给定由受保护特征与未受保护特征组成的数据集 $X$、结果 $y$，以及给定 $X$ 预测 $y$ 的回归器 $h$，输出一个元组 $(f_j, g)$，具有以下性质：$g$ 对应于训练数据集 $(X, y)$ 的一个子集，使得第 $j$ 个特征 $f_j$ 在子群 $g$ 中的影响远大于（或远小于）在整个数据集上的影响，我们称之为特征重要性差异（FID）。我们在 $4$ 个数据集和机器学习界广泛关注的 $4$ 种常用特征重要性方法上表明，即使面对指数级大的子群类，我们也能高效找到具有较大 FID 值的子群，并且在实践中这些子群对应于按标准公平性指标衡量的具有潜在严重偏差问题的子群。