FairTest：在数据驱动应用中发现无根据关联

在一个传统隐私观念日益受到众多收集分析我们数据的公司挑战的世界里，让决策实体对不负责任的数据使用所产生的不公平待遇负责十分重要。不幸的是，缺乏适当的方法和工具意味着即使识别不公平或歧视性影响在实践中也可能是一项挑战。我们引入了无根据关联（UA）框架，一种用于在数据驱动应用中发现不公平、歧视性或攻击性用户对待的原则性方法。UA框架统一并合理化了许多先前将算法公平形式化的尝试。它独特地结合了具有广泛适用性的多种调查原语和公平指标、对用户子组中不公平处理的细粒度探索，以及可能解释观察到的差异的效用的自然概念。我们在FairTest中实例化了UA框架，这是首个帮助开发人员检查数据驱动应用是否存在不公平用户对待的综合工具。它支持对应用结果（如价格或保费）与敏感用户属性（如种族或性别）之间关联的可扩展且统计严谨的调查。此外，FairTest提供调试功能，让程序员排除观察到的不公平效应的潜在混杂因素。我们报告了使用FairTest在四个数据驱动应用中调查和在某些情况下解决差异影响、攻击性标注和算法错误不均匀率的情况。例如，我们的结果揭示了预测健康应用中错误分布对老年人口的微妙偏见，以及图像标注器中的攻击性种族标注。