是的，仍然公平吗？基于协变量漂移对公平性算法的比较评估
机器学习
2024-09-20 v1 人工智能
计算机与社会
人机交互
摘要
过去数十年间，机器学习（ML）应用呈指数级增长，为社会带来了诸多好处。然而，这些好处也伴随着 ML 模型表现出歧视性行为的担忧。就此而言，机器学习中的公平性已成为重要的研究领域。因此，开发出了各种公平性指标和算法，以缓解 ML 模型可能拥有的歧视性行为。然而，人们仍很少关注数据模式（即数据分布漂移）的自然发生变化及其对公平性算法和指标的影响。本文通过分析 4 个公平性不敏感的基线算法和 7 个公平性敏感算法（精心挑选以涵盖其类型全貌），在 5 个包含公共和专有数据的 dataset 上进行测试，使用 3 个预测性能指标和 10 个公平性指标进行评估。我们的研究表明：(1) 数据分布漂移并非微不足道的现象，在许多情况下会导致所谓公平模型的公平性严重恶化；(2) 与某些现有文献不同，数据分布漂移的大小和方向与导致的不公平的大小和方向之间并不存在相关性；(3) 公平性算法的选择和训练受数据分布漂移效应的影响，而这在文献中基本被忽视了。基于我们的发现，我们综合出 several policy implications of data distributional drift on fairness algorithms，这对利益相关者和实践者具有高度的相关性。
引用
@article{arxiv.2409.12428,
title = {Is it Still Fair? A Comparative Evaluation of Fairness Algorithms through the Lens of Covariate Drift},
author = {Oscar Blessed Deho and Michael Bewong and Selasi Kwashie and Jiuyong Li and Jixue Liu and Lin Liu and Srecko Joksimovic},
journal= {arXiv preprint arXiv:2409.12428},
year = {2024}
}