预测模型中传播性采样偏差的可证明检测

随着将公平性纳入机器学习模型的关注增加，不仅需要在机器学习流水线各阶段评估和缓解偏差，还需理解偏差跨阶段的下游影响。此处我们考虑一个通用但现实的场景：预测模型从（可能有偏的）训练数据中学习，并通过某种审计方法对模型预测进行事后公平性评估。我们提供理论分析，说明一种特定形式的数据偏差——差分采样偏差——如何从数据阶段传播到预测阶段。与先前工作不同，我们定量而非定性地评估数据偏差的下游影响，并证明检测的理论保证。在合理假设下，我们量化模型预测中的偏差量如何随数据中差分采样偏差量的函数变化，以及该偏差何时变得可被审计者可证明地检测。通过对两个刑事司法数据集——著名的 COMPAS 数据集和 NYPD 拦截搜身政策的历史数据——的实验，我们表明即便放宽假设，理论结果在实践中依然成立。