迈向AI偏见探索的标准化

创建公平的AI系统是一个复杂的问题，涉及评估依赖于上下文的偏见问题。现有的研究和编程库将特定问题表达为它们旨在约束或缓解的偏见度量。在实践中，在决定哪些度量需要采取纠正措施之前，应该探索各种（有时是不兼容的）度量，但它们的狭窄范围意味着大多数新情况只能在设计新度量之后才能进行检查。在这项工作中，我们提出了一个数学框架，将文献中的偏见度量提炼为构建块，从而促进新的组合以覆盖广泛的公平性问题，例如跨多个多值敏感属性（例如多种性别和种族及其交叉点）的分类或推荐差异。我们展示了该框架如何泛化现有概念，并介绍了常用的块。我们提供了该框架的开源实现，作为一个名为FairBench的Python库，它有助于系统化和可扩展地探索潜在的偏见问题。