效用-公平性权衡及其寻找方法

在构建具有人口统计学公平性考量的分类系统时，需要满足两个目标：1）最大化特定任务的效用；2）确保关于已知人口统计学属性的公平性。这两个目标通常相互竞争，因此同时优化两者可能会导致效用与公平性之间的权衡。虽然现有工作承认权衡的存在并研究了其极限，但仍有两个问题尚未得到解答：1）效用与公平性之间的最优权衡是什么？2）如何针对所需的预测任务和感兴趣的人口统计学属性，从数据中数值量化这些权衡？本文解决了这些问题。我们引入了两种效用-公平性权衡：数据空间权衡和标签空间权衡。这些权衡揭示了效用-公平性平面内的三个区域，界定了什么是完全可能、部分可能和不可能的。我们提出了 U-FaTE，一种从数据样本中数值量化给定预测任务和群体公平性定义的权衡的方法。基于这些权衡，我们引入了一种评估表示的新方案。对公平表示学习方法和来自 1000 多个预训练模型的表示的广泛评估表明，大多数当前方法在多个数据集和预测任务上远未达到估计且可实现的公平性-效用权衡。