设计实验以测量 Facebook 上的增量效应

近年来，Facebook 广告的重要性显著上升，2017 年该平台占全球在线广告支出的近 20%。广告中的一个重要考量是增量效应：广告活动对实验指标的变化负有多大责任。为了测量增量效应，Facebook 提供了提升测试。由于 Facebook 提升测试不同于标准的 A/B 测试，在线实验文献并未描述如何计算统计功效和最小样本量等参数。Facebook 还提供多单元提升测试，可用于比较受众在统计上不完全相同的广告活动。在这种情况下，目前没有文献描述如何测量各单元之间增量效应差异的显著性，或如何估计统计功效和最小样本量。我们通过提供 Facebook 提升测试的统计功效和所需样本量计算来填补文献中的这些空白。然后，我们将统计显著性、统计功效和所需样本量的计算推广到多单元提升测试。我们在理论上用测试指标的分布来表示结果，并在实践层面用从业者使用的指标来表示，同时公开了我们所有的代码。