大规模网络实验

我们描述了在 Facebook 部署的框架，该框架通过簇随机化实验来考虑实验单元之间的干扰。我们记录了该系统，包括设计与估计流程，并详细阐述了我们通过大量大规模使用此系统的实验所获得的见解。我们引入了一种基于簇的回归调整，作为估计流程的一部分，显著提高了估计全局处理效应以及检验干扰的精度。通过这种回归调整，我们发现不平衡簇比平衡簇能更好地解释干扰，且不牺牲准确性。此外，我们展示了如何记录对处理的暴露用于额外的方差缩减。干扰是在线现场实验中广泛承认的问题，但来自真实世界实验证明在线环境中存在干扰的证据较少。我们通过描述两个捕捉显著网络效应并凸显该实验框架价值的案例研究填补了这一空白。