在无真实标签情况下度量模型偏差
计算机视觉与模式识别
2021-06-08 v3 机器学习
摘要
机器学习中偏差的度量通常关注模型在身份子组（如男性和女性）相对于真实标签的性能表现。然而，这些方法并不直接度量模型可能学到的关联，例如标签与身份子组之间的关联。此外，度量模型偏差需要完全标注的评估数据集，而实践中此类数据未必易得。我们提出一种优雅的数学方案，以图像分类为示例同时解决上述两方面问题。通过将分类模型对给定图像的预测视为类似于词袋的一组标签，我们对模型就不同身份标签所学到的偏差进行排序。我们以（男性，女性）作为身份标签集的具体示例（尽管该集合不必为二元的），并给出最偏向某一身份的标签排序。我们展示了不同关联度量的统计特性如何导致“性别偏差”最大标签的不同排序，并得出结论：归一化点互信息（nPMI）在实践中最为有用。最后，我们发布了一种基于 TensorBoard 的开源 nPMI 可视化工具。
引用
@article{arxiv.2103.03417,
title = {Measuring Model Biases in the Absence of Ground Truth},
author = {Osman Aka and Ken Burke and Alex Bäuerle and Christina Greer and Margaret Mitchell},
journal= {arXiv preprint arXiv:2103.03417},
year = {2021}
}