在数据域中发现公平表示

可解释性与公平性在计算机视觉和机器学习应用中至关重要,尤其在处理涉及人的结果时,例如基于可能包含照片的申请材料决定是否邀请参加求职面试。实现公平的一个有前景的方向是学习去除受保护特征语义的数据表示,从而能够缓解不公平结果。然而,所有现有模型都学习潜在嵌入,其代价是不可解释。我们提议将这一问题视为数据到数据的翻译,即学习从输入域到公平目标域的映射,并在其中强制实施某种公平性定义。此处数据域可以是图像或任意表格数据表示。若我们有可用的公平目标数据,该任务将直截了当,但事实并非如此。为克服这一点,我们利用残差(输入数据与其翻译版本之差)与受保护特征之间的统计特性,学习一个高度无约束的映射。当应用于以性别属性为受保护特征的 CelebA 人脸图像数据集时,我们的模型通过调整眼部和唇部区域来强制机会均等。有趣的是,在同一数据集上,当使用图像的语义属性表示进行翻译时,我们得出了相似结论。在近期 DiF 数据集的人脸图像上,以相同性别属性,我们的方法调整鼻部区域。在同样以性别为受保护属性的 Adult 收入数据集中,我们的模型通过混淆妻子与丈夫关系等方式实现机会均等。分析这些系统性变化将使我们能够审视公平性准则、所选受保护特征与预测性能之间的相互作用。