基于极值理论的公平性测试
软件工程
2025-01-22 v1 人工智能
计算机与社会
机器学习
摘要
数据驱动的软件正在被广泛用作自动决策支持系统的关键组件。由于这类软件从历史数据中学习其逻辑, 它可能编码或放大歧视性做法。先前的算法公平性研究侧重于改善平均情况公平性。另一方面, 针对谱段两端的公平性研究显得不足, 这往往代表着对社会态度持久且深远影响的信号。借助极值理论 (Extreme Value Theory, EVT) 的统计工具, 我们提出了一种新的公平性准则, 称为极端反事实歧视 (Extreme Counterfactual Discrimination, ECD)。该准则仅基于受保护群体成员身份, 估计结果中个体遭受的极端不利后果。利用基于搜索的软件工程工具和生成式 AI, 我们提出了一种随机算法, 用于从 ML 结果分布尾部抽取统计显著的样本点, 即便输入数据集 lacks 足够的相关样本也可行。我们在四个 ML 模型（深度神经网络、逻辑回归和随机森林）上进行了十个来自算法公平性文献的社会相关任务实验。首先, 我们评估了生成式 AI 方法, 发现它们在 95% 的情况下生成足够的样本来推断有效的 EVT 分布。令人惊讶的是, 我们发现常见的偏差缓解器在降低平均情况歧视方面有效, 但在 5% 的情况下显著增加了极端歧视。我们还观察到, 即使是尾部感知的缓解算法 —— MiniMax-Fairness —— 在 30% 的情况下也会增加极端歧视。我们提出了一种新的基于 ECD 的缓解器, 在 90% 的情况下改善尾部公平性, 且不会损害平均情况公平性。
引用
@article{arxiv.2501.11597,
title = {Fairness Testing through Extreme Value Theory},
author = {Verya Monjezi and Ashutosh Trivedi and Vladik Kreinovich and Saeid Tizpaz-Niari},
journal= {arXiv preprint arXiv:2501.11597},
year = {2025}
}
备注
In IEEE/ACM 47th International Conference on Software Engineering (ICSE'25)