通过生成有效初始个体歧视实例增强公平性测试
软件工程
2022-09-20 v1 计算机与社会
机器学习
摘要
公平性测试旨在缓解数据驱动的 AI 系统决策过程中无意的歧视。当 AI 模型仅依据年龄、种族等受保护属性即可区分的两个不同个体做出不同决策时，可能发生个体歧视。此类实例揭示了有偏的 AI 行为，被称为个体歧视实例（IDIs）。本文提出一种为公平性测试生成 IDIs 而选择初始种子的方法。以往研究主要使用随机初始种子来达到此目的。然而该阶段至关重要，因为这些种子是后续 IDIs 生成的基础。我们将所提出的种子选择方法命名为 I&D。它生成大量具有高度多样性的初始 IDIs，旨在提升公平性测试的整体性能。我们的实证研究表明，相较于四种最先进的种子生成方法，I&D 能够生成更多 IDIs，平均多出 1.68 倍。此外，我们比较了使用 I&D 训练机器学习模型的效果，发现与最先进方法相比，使用 I&D 可将剩余 IDIs 数量减少 29%，从而表明 I&D 对提升模型公平性有效。
引用
@article{arxiv.2209.08321,
title = {Enhanced Fairness Testing via Generating Effective Initial Individual Discriminatory Instances},
author = {Minghua Ma and Zhao Tian and Max Hort and Federica Sarro and Hongyu Zhang and Qingwei Lin and Dongmei Zhang},
journal= {arXiv preprint arXiv:2209.08321},
year = {2022}
}
备注
19 pages, 7 figures