表征感知的实验设计：A/B测试与告警中的群体不平等分析

随着企业采用日益以实验驱动的文化，开发方法来理解这些实验任何潜在的意外后果至关重要。我们可能对那些后果有具体问题（某项变更是否增加或降低了内容创作者中的性别表征平等？）；我们也可能疑惑是否尚未考虑正确的问题（即我们不知道我们不知道什么）。因此我们从前两个视角解决实验中的意外后果问题：即预指定与数据驱动的感兴趣维度选择。对于指定维度，我们引入一个统计量来衡量偏离平等表征的程度（DER统计量），给出其渐近分布，并评估有限样本表现。我们解释如何使用该统计量在大规模实验系统中搜索，以告警我们任何在群体表征上的极端意外后果。我们以讨论沿一组维度使用因果树搜索异质处理效应来补充该方法论，因果树针对我们生态系统中的实际性稍作修改，并在此用作深入探究被DER统计量告警标记的实验的一种方式。我们引入一种模拟数据的方法，其紧密模仿LinkedIn上的观测数据，并在模拟中评估DER统计量的表现。最后，我们给出LinkedIn的案例研究，并展示这些方法如何使我们发现关于群体表征的令人惊讶且重要的见解。用于复现的代码见附录。