基于对比信息估计的公平结果可控保证
机器学习
2021-06-04 v3 机器学习
摘要
控制训练数据集中的偏差对于确保下游应用中不同群体之间的平等对待（即均等）至关重要。一种朴素的方法是对数据进行变换使其与群体归属在统计上独立，但当需要在公平性与准确性之间达成合理折中时，这可能会丢弃过多信息。另一种常见方法是限制某个寻求最大化均等的特定对抗者的能力。不幸的是，对抗方法产生的表示可能仍保留偏差，因为其效力依赖于训练期间所用对抗者的复杂度。为此，我们从理论上证明，通过限制表示与受保护属性之间的互信息，我们可以确切地控制任何下游分类器的均等性。我们展示了一种基于对比信息估计器、通过互信息控制均等性的有效方法，并表明其优于依赖基于复杂生成模型的变分界的方法。我们在 UCI Adult 和 Heritage Health 数据集上测试了我们的方法，并证明我们的方法在一系列期望的均等阈值下提供了更具信息量的表示，同时对任何下游算法的均等性提供了强有力的理论保证。
引用
@article{arxiv.2101.04108,
title = {Controllable Guarantees for Fair Outcomes via Contrastive Information Estimation},
author = {Umang Gupta and Aaron M Ferber and Bistra Dilkina and Greg Ver Steeg},
journal= {arXiv preprint arXiv:2101.04108},
year = {2021}
}
备注
This version fixes an error in Theorem 2 of the original manuscript that appeared at the Proceedings of the 35th AAAI Conference on Artificial Intelligence (AAAI-21). Code is available at https://github.com/umgupta/fairness-via-contrastive-estimation