用于人工智能公平性的透明性工具 (Luskin)
机器学习
2020-07-10 v1 计算机与社会
机器学习
摘要
我们为政策制定者提出了在评估和纠正人工智能算法中的公平性与偏见时使用的新工具。这三个工具分别是:- 一种称为“受控公平性”的关于受保护特征和过滤器选择的新公平性定义。该定义为针对数据集的算法公平性提供了一个简单的测试。在公平性优先于准确性的情况下,例如不存在“真实标签”数据,仅有用过去(可能存在偏见的)决策标记的数据时,这种公平性概念是适用的。- 针对特征和过滤器的选择,重新训练给定分类器以实现“受控公平性”的算法。我们提出、实现并测试了两种算法。这些算法需要在两个阶段训练两个不同的模型。我们尝试了第一阶段和第二阶段各种类型模型的组合,并报告了哪些组合在公平性和准确性方面表现最佳。- 调整模型参数以实现称为“分类平价”的公平性概念的算法。这种公平性概念适用于优先考虑准确性的情况。我们提出了两种算法,一种假设受保护特征在测试期间可被模型访问,另一种假设受保护特征在测试期间不可访问。我们在三个不同的公开数据集上评估了我们的工具。我们发现这些工具对于理解偏见的不同维度很有用,并且在实践中,当在新数据上进行测试时,这些算法能有效大幅减少给定的观测偏见。
引用
@article{arxiv.2007.04484,
title = {Transparency Tools for Fairness in AI (Luskin)},
author = {Mingliang Chen and Aria Shahverdi and Sarah Anderson and Se Yong Park and Justin Zhang and Dana Dachman-Soled and Kristin Lauter and Min Wu},
journal= {arXiv preprint arXiv:2007.04484},
year = {2020}
}