面向公平性审计的统计推断

在高风险问题中部署黑盒模型之前，评估模型在敏感子群体上的表现十分重要。例如，在再犯预测任务中，我们可能希望识别出预测模型假阳性率高得不可接受的群体，或证明不存在此类群体。本文将这一常被称为“公平性审计”的任务置于多重假设检验的框架中。我们展示了如何利用 bootstrap 方法在统计保证下同时界定一组群体的性能差异。我们的方法可用于标记受模型表现不佳影响的子群体，并认证模型表现充分的子群体。关键在于，我们的审计与模型无关，且几乎适用于任何性能指标或群体公平性准则。我们的方法还能处理极其丰富——甚至是无限——的子群体集合。此外，我们超越子群体进行推广，展示了如何评估在特定分布偏移下的性能。我们在预测推断与算法公平性的基准数据集上测试了所提方法，发现我们的审计能提供可解释且可信的保证。