Cauchy-Schwarz 公平性正则化器

机器学习中的组公平性通常通过添加一个正则化器来实现，该正则化器降低模型预测与敏感属性之间的依赖性。然而，现有的正则化器基于异构的距离度量和设计选择，这使得它们的行为难以推理，且在不同任务上的性能不一致。这引发了一个基本问题：什么属性造就了一个好的公平性正则化器？我们通过将现有的过程中方法组织为三个族来回答这个问题：(i) 在敏感组之间匹配预测统计量，(ii) 对齐潜在表示，(iii) 直接最小化预测与敏感属性之间的依赖性。通过这一视角，我们识别出底层距离度量的理想属性，包括紧致的泛化界、对尺度差异的鲁棒性，以及处理任意预测分布的能力。基于这些属性，我们提出了一种 Cauchy-Schwarz (CS) 公平性正则化器，它惩罚条件化于敏感组的预测分布之间的经验 CS 散度。在高斯比较下，我们证明 CS 散度比 Kullback-Leibler 散度、最大均值差异以及人口统计学平等中使用的均值差异给出了更紧的界，并讨论了这些优势如何转化为一种分布无关的、基于核的估计器，该估计器自然地扩展到多个敏感属性。在四个表格基准数据集和一个图像数据集上的大量实验表明，所提出的 CS 正则化器在保持竞争性准确率的同时，一致地改善了人口统计学平等和等机会指标，并且在超参数设置下实现了更稳定的效用-公平性权衡。