无损害的公平性：一种影响引导的主动采样方法

在机器学习 (ML) 中追求公平性，即确保模型不对受保护的人口群体表现出偏见，通常会导致一种妥协场景。这种妥协可以通过帕累托前沿来解释，在给定特定资源（例如数据）的情况下，减少公平性违规往往以降低模型准确率为代价。在这项工作中，我们旨在训练能够缓解群体公平性差异而不损害模型准确率的模型。直观上，获取更多数据是通过达到更好的公平性-准确率权衡帕累托前沿来实现这一目标的自然且有前景的方法。当前的数据获取方法，如公平主动学习方法，通常需要对敏感属性进行标注。然而，出于隐私和安全考虑，这些敏感属性标注应受到保护。在本文中，我们提出了一种易于处理的主动数据采样算法，该算法不依赖于训练集上的群体标注，而仅需要在一个小型验证集上进行群体标注。具体而言，该算法首先根据在验证数据集上评估的每个新样本对公平性和准确率的影响对其进行评分，然后选择一定数量的样本进行训练。我们从理论上分析了获取更多数据如何在不造成损害的情况下提高公平性，并在风险差异的背景下验证了我们采样方法的可行性。我们还提供了泛化误差和风险差异的上界及其相应联系。在真实世界数据上的大量实验证明了我们提出的算法的有效性。我们的代码可在 https://github.com/UCSC-REAL/FairnessWithoutHarm 获取。