通过实验实现公平：将 A/B 测试中的不平等作为负责任设计的一种方法
社会与信息网络
2020-02-17 v1 计量经济学
摘要
随着技术持续进步，人们对个体被落下的担忧日益增加。许多企业正努力采用负责任的设计实践，避免其产品和服务产生任何意外后果，从隐私漏洞到算法偏见。我们提出一种基于实验的公平与包容新方法。我们采用实验是因为不仅希望评估产品和算法的内在属性，还希望评估其对人的影响。为此，我们向 A/B 测试引入不平等方法，利用经济学文献中的 Atkinson 指数。我们展示如何对该不平等度量进行因果推断。我们还引入站点级不平等影响的概念，其捕捉针对特定子群体进行实验的包容性影响，并展示如何对该影响进行统计推断。我们提供来自 LinkedIn 的真实示例，以及用于在 Spark/Scala 中计算 Atkinson 指数及其方差的开源、高度可扩展实现。我们还提供了超过一年的经验——通过大规模部署我们的方法并分析数千个实验收集而来——关于哪些领域和哪些类型的产品创新似乎能通过包容性内在地促进公平。
引用
@article{arxiv.2002.05819,
title = {Fairness through Experimentation: Inequality in A/B testing as an approach to responsible design},
author = {Guillaume Saint-Jacques and Amir Sepehri and Nicole Li and Igor Perisic},
journal= {arXiv preprint arXiv:2002.05819},
year = {2020}
}