FlipTest：基于最优传输的公平性测试
机器学习
2019-12-10 v4 机器学习
摘要
我们提出 FlipTest，一种用于揭示分类器中歧视现象的黑盒技术。FlipTest 的动机源于一个直观问题：若个体具有不同的受保护身份，模型是否会以不同方式对待他们？FlipTest 不依赖因果信息来回答此问题，而是利用最优传输在不同受保护群体间匹配个体，从而创建相似的同分布样本对。我们展示了如何通过构建“翻转集（flipset）”来利用这些实例检测歧视：即翻译后分类器输出发生变化的个体集合，对应于可能因群体成员身份而受损害的人群。为阐明模型为何以不同方式对待给定子群体，FlipTest 生成“透明度报告”：即对与模型在翻转集上行为最相关的特征进行排序。通过在三个案例研究上评估该方法，我们表明其提供了一种计算代价低廉的方式来识别可能受模型歧视危害的子群体，包括在模型满足群体公平性准则的情况下。
引用
@article{arxiv.1906.09218,
title = {FlipTest: Fairness Testing via Optimal Transport},
author = {Emily Black and Samuel Yeom and Matt Fredrikson},
journal= {arXiv preprint arXiv:1906.09218},
year = {2019}
}
备注
Accepted to ACM FAT* 2020; The first two authors contributed equally